En consecuencia, las publicaciones de ciencia están plagadas de todo tipo de errores puramente humanos, como copiar un valor incorrecto en un formulario, no corregir un defecto de codificación u omitir filas en una hoja de cálculo. El proyecto ERROR reúne a autores de artículos científicos influyentes con revisores que examinan su trabajo en busca de equivocaciones. A los revisores se les paga hasta 1,000 francos suizos (1,131 dólares) por examinar un artículo y obtienen bonificaciones por identificar errores menores, moderados y graves. A los autores originales también se les retribuye por enviar su trabajo. ERROR dispone de 250,000 francos suizos de la Universidad de Berna para pagar durante cuatro años, lo que debería bastar para unos 100 informes científicos.
Jan Wessel, neurocientífico cognitivo de la Universidad de Iowa, fue el primer participante cuyo trabajo fue revisado por ERROR. Elson ya conocía a Wessel, y le preguntó al investigador si le gustaría contribuir al proyecto. Wessel aceptó, con la condición de presentar un trabajo en el que él fuera el único autor. Si encontraban equivocaciones importantes, Wessel quería que quedara claro que el fallo había sido únicamente suyo, y no arriesgarse a poner en peligro la carrera de un colega o antiguo alumno.
Wessel proporcionó un artículo que había publicado en 2018 y fue asignado al neurocientífico de Stanford Russ Poldrack, quien lo revisó en busca de errores. El documento de Wessel trataba sobre una prueba común empleada en neurociencia para evaluar la impulsividad y la inhibición, e implicaba tomar datos de muchos otros estudios publicados para ver cómo se comparaban las distintas versiones de ese ensayo. En su revisión, Poldrack descubrió que Wessel había cometido errores ocasionales al extraer los datos de esos estudios preexistentes. No eran lo bastante graves como para desvirtuar los resultados del informe, pero Wessel quedó impactado por cuántos de ellos había.
“Me sorprendió la cantidad de errores que encontró Russ”, comenta Wessel. Poldrack solo muestreó un pequeño subconjunto de los 241 trabajos incluidos en el artículo de Wessel, por lo que el neurocientífico decidió repasar y averiguar el verdadero porcentaje de equivocaciones. Wessel pidió a sus colegas de laboratorio que examinaran todos los documentos restantes y comprobaran los casos en que la cifra de un estudio original no coincidiera con la que Wessel había puesto en su trabajo. Hallaron que, para una variable, Wessel había registrado el valor incorrecto alrededor del 9% de las veces.
Lo más interesante fueron los errores que cometieron los investigadores de Wessel que buscaban fallos. Aunque sabían que estaban detectándolos, los colegas de Wessel se equivocaron a un ritmo cada vez mayor: casi el 13% de las ocasiones. Al igual que Wessel, copiaron un número incorrecto o leyeron mal un valor en un documento. Esto intrigó tanto a Wessel que realizó un análisis para ver la probabilidad de que dos personas cometieran exactamente el mismo error en cualquiera de los trabajos que examinaron. Encontró que había más de un 50% de probabilidades de que eso sucediera en algún momento con los 241 artículos.
Un estudio publicado hoy en Nature analizó los genomas de cráneos de docenas de niños y bebés recuperados de una cámara subterránea en Chichén Itzá. Los resultados revelaron que todas las víctimas eran niños y, sorprendentemente, muchos de ellos eran parientes cercanos, incluidos gemelos.
La importancia de reconocer el error en los artículos científicos
Para los investigadores en metaciencia, nada de esto es sorprendente. Si buscas lo suficiente, empezarás a encontrar errores por todas partes. A medida que más científicos han comenzado a trabajar con conjuntos de datos muy grandes y código complejo, ha aumentado la posibilidad de que equivocarse, apunta Poldrack. Un problema potencial es que si una falla en algún código conduce a un resultado científico particularmente interesante, del tipo que se convertiría en un gran artículo de investigación, no existe ningún incentivo real para que los expertos eliminen ese error. La única recompensa por su diligencia sería desechar la investigación. Si no hay equivocación, no hay artículo.
Cambiar la cultura que rodea a los errores científicos haría menos probable que estos acabaran en trabajos publicados. Los cirujanos analizan sus fallas en las reuniones de morbilidad y mortalidad, que se supone que son un espacio libre de juicios en el que los médicos averiguan cómo evitar que se repita la misma situación. Lo mismo ocurre con las investigaciones sobre accidentes aéreos. El Convenio sobre Aviación Civil Internacional establece que el objetivo de las investigaciones no es repartir culpas, sino encontrar el modo de evitar accidentes similares en el futuro.