10 razones por las que los estudios científicos pueden ser sorprendentemente inexactos

Nuestra sociedad celebra la ciencia por su precisión y objetividad, y el público en general considera que la evidencia publicada en revistas científicas es indudablemente cierta. Sin embargo, ha habido una serie de estudios alarmantes, que se centran especialmente en la investigación en ciencias de la vida, que sugieren que la publicación científica podría no ser tan confiable como nos gustaría pensar.

10Muchos estudios pre-clínicos no pueden ser reproducidos

Actualmente hay una gran cantidad de investigaciones sobre los mecanismos del cáncer. Desafortunadamente, la traducción de esta investigación en la búsqueda de objetivos para el tratamiento ha resultado difícil, ya que la tasa de fracaso de los ensayos clínicos en oncología es mayor que en la mayoría de las otras áreas. Y parece que muchos de estos fracasos pueden atribuirse a problemas con la investigación preclínica en la que se basaron.

Una revisión encontró que solo seis de los 53 documentos de cáncer preclínicos de referencia podían reproducirse. Muchos de los estudios que no pudieron reproducirse no utilizaron pruebas ciegas, lo que significa que los evaluadores sabían si estaban tratando con el grupo de control o el grupo experimental, lo que podría llevar a un sesgo del investigador. Se encontró que otros estudios solo presentaron los resultados que apoyaban su hipótesis, incluso si no eran una buena representación del conjunto de datos en su conjunto. Sorprendentemente, no existe una regla específica que lo impida y los artículos se aceptan regularmente para su publicación sin presentar el conjunto completo de datos obtenidos.

Otro estudio examinó 67 estudios, principalmente en el campo de la oncología, y encontró que menos del 25 por ciento de los datos publicados podían reproducirse en el laboratorio sin mayores inconsistencias. Este es ahora un problema tan común que las compañías de capital de riesgo aparentemente tienen una regla tácita de que alrededor del 50 por ciento de los estudios académicos será imposible de reproducir en sus laboratorios industriales.

9 Los resultados negativos a menudo no se publican

Un resultado negativo ocurre cuando los investigadores plantean la hipótesis de que algo sucederá, pero luego descubren que no pueden obtener ese resultado. Un estudio examinó más de 4,600 artículos de todas las disciplinas entre 1990 y 2007, y descubrió que la publicación de resultados positivos había aumentado en un 22 por ciento durante ese período. Para el 2007, un sorprendente 85.9 por ciento de los artículos reportaron resultados positivos. Esto está respaldado por estudios que muestran que las oraciones negativas como "sin diferencias significativas" han disminuido en el uso, mientras que es mucho más probable que los resultados significativos se informen en su totalidad. Si se publican, los resultados negativos probablemente solo aparecerán en revistas de bajo impacto.

Este sesgo de publicación en realidad crea bastantes problemas. Para empezar, los científicos a menudo no pueden ver si ya se ha realizado un estudio, lo que significa una repetición innecesaria. También puede afectar los resultados de los estudios de metanálisis, que comparan toda la literatura sobre un tema en particular. El sesgo de publicación también genera una gran presión para lograr resultados positivos, lo que podría llevar a hallazgos inflados, mala conducta en la investigación o menos riesgos para los investigadores. Después de todo, si su futura carrera se basa principalmente en si puede obtener resultados positivos para publicar, eso ciertamente tendrá algún impacto en la forma en que diseña su investigación e interpreta sus hallazgos.

8Peer Review a menudo falla al detectar errores mayores

Pasar el proceso de revisión por pares es actualmente el estándar de oro para los trabajos de investigación. Sin embargo, cuando los investigadores entregaron deliberadamente artículos biomédicos llenos de errores a revisores pares de una importante editorial académica, descubrieron que los revisores solo detectaron un promedio de 2,58 de los nueve errores principales. Aún más preocupante, la capacitación para mejorar su rendimiento solo hizo una pequeña diferencia. De hecho, un cuarto completo de los 607 revisores detectados detectó un promedio de uno o menos de los errores. (Para ser justos, algunos revisores rechazaron el documento sin haber terminado de revisarlo, lo que significa que pueden haber encontrado más errores si hubieran continuado hasta el final).

Los revisores fueron particularmente malos en la detección de errores relacionados con "el análisis de datos e inconsistencias en el informe de resultados". Esto puede estar vinculado a la mala comprensión de las estadísticas entre los biólogos. El área menos afectada por la capacitación fue "poner el estudio en contexto, tanto en términos de la literatura preexistente como en términos de las implicaciones de los hallazgos para la política o la práctica". Esto tiene sentido, como dominar la literatura sobre un tema en particular. Lleva mucho tiempo lograrlo.

Otros estudios llegaron a conclusiones similares. Uno presentó a 221 revisores un artículo publicado previamente que se había modificado para incluir ocho errores. En promedio, los revisores solo detectaron dos de los nuevos errores. Otro descubrió que los revisores no detectaron al menos el 60 por ciento de los principales errores en un documento sobre migrañas (aunque la mayoría de los revisores aún no recomendaron aceptar el estudio para su publicación). Tomados en conjunto, tales documentos sugieren que el proceso de revisión por pares en las ciencias biomédicas tiene mucho margen de mejora.

Los revisores de 7Peer empeoran con el tiempo

En 2009, un estudio de 14 años destacó problemas adicionales con el proceso de revisión por pares. El estudio, en el que los editores de revistas calificaron la calidad de cada revisión que recibieron, sugirió que el desempeño de los revisores pares disminuyó en un promedio de alrededor del 0,8 por ciento cada año. Estos hallazgos están respaldados por un documento de 2007 en PLOS Medicina, que encontró que ningún tipo de entrenamiento o experiencia era un indicador significativo de la calidad del revisor, pero que los científicos más jóvenes generalmente proporcionaban revisiones de mayor calidad. Una encuesta de 1998 también encontró que los científicos más jóvenes obtuvieron mejores resultados como revisores pares, mientras que los de los consejos editoriales tuvieron un peor desempeño.

Las razones de esta tendencia no están claras, aunque las sugerencias incluyen el deterioro cognitivo, la toma de intereses en conflicto o el aumento de las expectativas en la revisión que dificulta el trabajo con el tiempo. También existe evidencia de que los revisores de más edad tienen más probabilidades de tomar decisiones prematuramente, no cumplen con los requisitos para estructurar una revisión y pueden tener una base de conocimientos disminuida a medida que su capacitación se desactualiza. Esto es preocupante, ya que una mayor edad a menudo viene con una mayor autoridad.

6Los papeles más rechazados se publican eventualmente en otros lugares

Tras el proceso de revisión por pares, las revistas rechazarán un artículo o lo aceptarán para su publicación. ¿Pero qué pasa con esos papeles rechazados? Un estudio siguió documentos rechazados por Medicina Ocupacional y Ambiental, encontrando que el 54 por ciento de ellos terminaron siendo publicados en otros lugares. Curiosamente, más de la mitad fueron publicadas por un grupo de otras siete revistas importantes en el mismo campo.

Un estudio similar encontró que el 69 por ciento de los artículos rechazados por una revista médica general se publicaron en otro lugar en 552 días, mientras que otro encontró que al menos la mitad de los estudios se redujo Investigacion cardiovascular finalmente terminó en otra revista. Un cuarto estudio mostró que el 56 por ciento de los artículos rechazados por la American Journal of Neuroradiology finalmente encontró otro hogar.

Antes de entrar en pánico, esto podría significar simplemente que los documentos rechazados se mejoran antes de enviarlos a otras revistas. Además, no todos los artículos son rechazados por mala metodología. Las revistas populares a menudo son difíciles de conseguir debido a limitaciones de espacio, mientras que muchos artículos son rechazados simplemente porque el tema podría no ser del todo adecuado para la revista en cuestión. (Los Investigacion cardiovascular el estudio explicó esta última posibilidad, encontrando que la mayoría de los artículos publicados posteriormente en otro lugar no fueron rechazados debido a un tema inadecuado.)

Como han demostrado los estudios, las revistas más prestigiosas están sujetas a un grado de escrutinio mucho mayor. De hecho, las revistas más conocidas tienden a retraer más artículos que sus contrapartes menos prestigiosas, simplemente porque reciben mucho más escrutinio después de la publicación. Entonces, el problema es que un periódico defectuoso puede ser comprado en varias revistas hasta que uno acepta publicarlo, lo que le permite ingresar al registro científico. Por lo tanto, estos estudios sugieren una discrepancia entre la calidad de los artículos en diversas revistas científicas.

5 prácticas de respeto

Con la presión constante sobre los científicos para que publiquen resultados positivos, hay indicios de que la falsificación y otras prácticas sospechosas son una ocurrencia común. Un metaanálisis de 18 encuestas mostró que el 1.97 por ciento de los científicos admitió haber falsificado su propio trabajo, el 33 por ciento admitió otras prácticas sospechosas, el 14.1 por ciento dijo que estaba al tanto de colegas que falsificaron su trabajo y el 72 por ciento dijo que conocía otras prácticas sospechosas por parte de colegas. . Los números verdaderos pueden ser incluso encuestas más altas de investigadores e investigadores en entrenamiento que encontraron que porcentajes más altos estarían dispuestos a participar en tales prácticas, incluso si no admitieran que ya las hayan realizado.

Algunas de las prácticas cuestionables que se observaron incluyeron "la eliminación de puntos de datos en función de una sensación visceral", "no publicar datos que contradigan la investigación anterior" y "cambiar el diseño, la metodología o los resultados de un estudio en respuesta a las presiones de una financiación fuente ”. Estas acciones pueden ser muy difíciles de probar y probablemente será imposible evitarlas por completo sin alejarse de un sistema obsesionado con la publicación de resultados positivos.

4Los científicos no comparten suficiente información

En la capacitación, a los científicos se les enseña que los experimentos deben escribirse de una manera que les permita recrearlos completamente a partir de la información incluida. Sin embargo, un estudio de 2013 que analiza el intercambio de recursos en la investigación biomédica encontró que el 54 por ciento de los recursos de investigación (como el tipo de anticuerpos u organismos utilizados en los experimentos) no se describieron con suficiente detalle para permitir su identificación. Otro estudio de investigación con animales descubrió que solo el 59 por ciento de los artículos incluía la cantidad y el carácter de los animales utilizados. Sin esa información es muy difícil reproducir los experimentos con precisión y, por lo tanto, verificar los resultados. También crea una barrera para detectar problemas metodológicos con un recurso específico.

Ha habido algunos intentos de abordar el problema, incluidas las directrices ARRIVE, que buscan maximizar el informe de modelos animales. El marco de información de neurociencia también ha creado registros de anticuerpos, mientras que la prestigiosa revista Naturaleza ha pedido una mayor información de los recursos.

Sin embargo, los autores del estudio de 2013 señalaron que solo cinco de las 83 revistas biomédicas tenían informes rigurosos. Una encuesta preocupante sobre la investigación biomédica se suma a esta evidencia, que muestra que la voluntad de compartir todos los recursos con otros investigadores se redujo en un 20 por ciento entre 2008 y 2012. Algunos de los investigadores encuestados dijeron que estarían felices de compartir datos a solicitud personal, pero no estaban contentos con ellos. Poner los datos en una base de datos en línea.

3Hoax Papers

En 1994, el físico Alan Sokal presentó un artículo a la revista de estudios culturales. Texto social el cual, a propósito, estaba lleno de "tonterías" sin fundamento, al tiempo que se aseguraba de "adular las preconcepciones ideológicas de los editores". Entre otras cosas, el artículo de Sokal vinculó la teoría cuántica del campo con el psicoanálisis y afirmó que la gravedad cuántica tenía serias implicaciones políticas.Sokal quería probar que la teoría posmodernista se había divorciado de la realidad: “La incomprensibilidad se convierte en una virtud; Alusiones, metáforas y juegos de palabras sustituyen a la evidencia y la lógica. Mi propio artículo es, en todo caso, un ejemplo extremadamente modesto de este género bien establecido ".

Si bien Sokal apuntó directamente a los estudios culturales, también se han producido trabajos de engaño en la informática. En 2014, se extrajeron 120 papeles asombrosos de publicaciones propiedad de Springer y del Instituto de Ingenieros Eléctricos y Electrónicos después de que se descubrió que eran incomprensibles generados por computadora. Los documentos se crearon utilizando un software llamado SCIgen, que se desarrolló originalmente en el MIT en 2005 como parte de un intento de probar que las conferencias no fueron examinadas adecuadamente.

SCIgen combina cadenas aleatorias de palabras para crear documentos de engaño, incluido uno que promete "concentrar nuestros esfuerzos en refutar que las hojas de cálculo se pueden hacer basadas en el conocimiento, empáticas y compactas". los documentos eliminados se enviaron con éxito a las conferencias chinas y se publicaron posteriormente. Springer notó que hacen una revisión por pares antes de la publicación, lo que hace que sea aún más extraño que hayan publicado 16 de los documentos falsos.

157 revistas (98 lo rechazaron) aceptaron otro papel de engaño, creado por John Bohannon y que pretende observar las propiedades contra el cáncer de un tipo de liquen. Esto fue a pesar del hecho de que "cualquier crítico con más que un conocimiento de química de la escuela secundaria y la capacidad de entender una trama de datos básicos debería haber detectado de inmediato las deficiencias del periódico". demasiado en ganar dinero a través de las tarifas de publicación del autor, incluso al costo de publicar una investigación inexacta.

La psicología como ejemplo de los problemas.

La psicología está muy afectada por muchos de los problemas en esta lista. La investigación ha sugerido que alrededor del 97 por ciento de los estudios publicados son positivos, y el problema ha persistido por lo menos desde 1959. Además, una encuesta encontró que más del 50 por ciento de los psicólogos dijeron que esperarían hasta obtener resultados positivos antes de decidir publicar. Más del 40 por ciento admitió que solo informaron estudios que obtuvieron un resultado positivo. Se ha sugerido que esto se debe a que las revistas de psicología tienden a buscar resultados novedosos en lugar de rigurosos. Cualquiera que sea la razón, la psicología se ha colocado junto a la psiquiatría y la economía como las ramas de la ciencia con mayor probabilidad de sufrir sesgos de publicación.

Un problema adicional es que los estudios de psicología rara vez se replican, ya que muchas revistas no publicarán replicaciones directas, por lo que no hay muchos incentivos para que los investigadores hagan el esfuerzo. Una posible solución es Psychfiledrawer, que publica intentos de replicación. Sin embargo, todavía hay poco beneficio profesional en la presentación y algunos investigadores han sido rechazados por el riesgo de críticas de sus colegas.

Más positivamente, ha habido un reciente impulso para la replicación del estudio y un estudio prometedor que encontró que 10 de los 13 estudios que intentó reproducir produjeron los mismos resultados. Si bien esto no resuelve la falta de resultados negativos publicados, ni los problemas comúnmente mencionados con el análisis estadístico, es un paso en la dirección correcta.

1 Los estudios realizados en ratones a menudo no pueden extrapolarse a los humanos

Muchos estudios en ciencias biomédicas se realizan en modelos animales, en particular ratones. Esto se debe a que los ratones en realidad tienen muchas similitudes con los humanos, incluyendo vías bioquímicas similares. Alrededor del 99 por ciento de los genes humanos tienen un homólogo de ratón (gen con un ancestro común).

Pero aunque la investigación en ratones ha llevado a algunos éxitos notables, ha habido problemas para traducirla a los humanos en áreas como el cáncer, las enfermedades neurológicas y las enfermedades inflamatorias. Investigaciones recientes sugieren que a pesar de las similitudes genéticas mencionadas anteriormente, las secuencias de genes que codifican proteínas reguladoras específicas son muy diferentes entre humanos y ratones.

Las diferencias son particularmente importantes en el sistema nervioso, donde hay muchas diferencias en el desarrollo del cerebro. El neocórtex del ratón, que está fuertemente vinculado a la percepción, está mucho menos desarrollado que el equivalente humano. Además, los síntomas de las enfermedades neurológicas a menudo tienen un componente cognitivo, y las diferencias en la cognición entre ratones y humanos son claramente enormes.

Así que la próxima vez que vea un avance médico sorprendente anunciado en las noticias, asegúrese de verificar si la investigación se realizó en ratones o humanos.