La investigación de problemas de reproducibilidad señala con el dedo a los ratones

Durante la última década, la comunidad científica se ha preocupado por lo que se ha denominado la «crisis de la reproducibilidad»: el aparente fracaso de algunos experimentos significativos para producir los mismos resultados cuando se repiten. Esta falla ha dado lugar a muchas sugerencias de lo que se podría hacer para mejorar las cosas, pero todavía no entendemos completamente por qué los experimentos no reproducen los resultados. Algunos estudios recientes han intentado identificar el problema subyacente. Un nuevo estudio abordó el error de reproducibilidad mediante la realización de una serie de experimentos de comportamiento idénticos en múltiples laboratorios en Suiza y Alemania. Resulta que muchas de las diferencias se deben al propio laboratorio. Pero también hay variaciones en los resultados que no se pueden atribuir a ninguna causa obvia y solo pueden resultar de diferencias entre ratones individuales.
Intente y vuelva a intentarlo
El esquema del trabajo es bastante simple: obtener tres laboratorios para realizar el mismo conjunto de 10 experimentos de comportamiento estándar en ratones. Sin embargo, los investigadores tomaron una serie de pasos adicionales para brindar una visión detallada de los factores subyacentes que podrían conducir a discrepancias en los resultados experimentales. Los experimentos se realizaron en dos cepas de ratones diferentes, ambas consanguíneas durante muchas generaciones, lo que limita la variabilidad genética. Todos los ratones se encargaron a la misma empresa. Fueron alojados en condiciones idénticas y evaluados a la misma edad. Cada uno de los tres laboratorios realizó dos réplicas del experimento. En uno, todo el trabajo fue realizado por una sola persona para reducir el impacto de las diferencias en el manejo de los ratones. En el segundo, tres personas diferentes realizaron los experimentos para agregar algo de variabilidad. Idealmente, estos experimentos habrían arrojado resultados idénticos. Si ese no fuera el caso, los investigadores podrían examinar cómo difieren los resultados y determinar si las discrepancias podrían deberse a los laboratorios, las personas que realizan los experimentos, la cepa de ratones involucrada o una combinación de los anteriores. Anuncio publicitario
señales mezcladas
Lo primero que se desprende de los resultados es que no existe un único problema de reproducibilidad. Algunos de los experimentos se reprodujeron bien, con una variabilidad limitada. Otros, como era de esperar, vieron diferencias entre las tribus. Pero en la mitad de esos casos, las magnitudes de las diferencias de carga variaron lo suficiente como para que un laboratorio pudiera ver un efecto estadísticamente diferente mientras que otro no. En un caso, las cepas en los diferentes laboratorios mostraron comportamientos contrastantes. Además, los resultados estaban por todo el mapa. En algunos casos, la tensión del ratón fue la mayor fuente de variabilidad. En otros era el laboratorio. Se encontró que la influencia del investigador individual, que fue significativa en otros estudios, fue pequeña en todas las pruebas excepto en una o dos. Pero uno de los hallazgos más poderosos fue cuánto de la variabilidad no podía explicarse por nada rastreado por el estudio. En nueve de las 10 pruebas, la variación no explicada fue más del 25 por ciento del total, y en seis de las 10 más de la mitad. «Cosas que no queríamos probar» puede ser una categoría extremadamente grande, pero en este caso, es difícil imaginar cómo los experimentos podrían ejecutarse de manera más consistente de lo que se ha hecho aquí. Entonces, si bien las discrepancias pueden deberse a una gran cantidad de factores, en la práctica puede haber poca diferencia, ya que de todos modos no tenemos control sobre estos factores. Los investigadores también apuntan a investigaciones anteriores que sugieren que al menos parte de esta variabilidad puede deberse a diferencias entre ratones individuales. A pesar de que fueron criados en las mismas condiciones y su genética es casi idéntica, cada ratón tendrá invariablemente experiencias ligeramente diferentes. Los ratones tampoco son autómatas y se puede esperar que cambien su comportamiento de vez en cuando. Todo esto puede poner límites a qué tan bien podemos esperar que se repliquen los experimentos de comportamiento. Mientras tanto, los investigadores sugieren que podría valer la pena aprovechar los factores que marcan la diferencia. Al variar intencionalmente las cosas que pueden cambiar los resultados del comportamiento, como asegurarse de que más de un experimentador esté realizando los estudios, podemos agregar intencionalmente ruido a los resultados. Cualquier señal más allá de este ruido sería más probable que se replicara. PLOS Biology, 2022. DOI: 10.1371/journal.pbio.3001564 (Acerca de los DOI).