Actualmente, la ciencia se presenta como el método más fiable para conocer la realidad. El método científico estipula, a grandes rasgos, cuatro pasos para llegar a una comprensión mayor del entorno: observación, hipótesis, experimento y comprobación. Si la hipótesis se comprueba tras el experimento, entonces se pueden enunciar leyes o teorías que se definen como conjeturas bien fundadas a la espera de que nuevos descubrimientos contradigan las existentes. Lejos de ser verdades de fe, la ciencia está compuesta por verdades pequeñas, criticadas constantemente, tanto más cuantas menos evidencias se tengan sobre el fenómeno estudiado. A priori, podría parecer que el método científico asegura que cualquier investigador, en cualquier parte del mundo, podría repetir un estudio y obtener los mismos resultados, pero la realidad siempre desborda la imagen que se pudiera tener de ella.
El conocimiento científico, lejos de estar completado y recogido en una enciclopedia ordenada, está en constante ebullición, y sus descubrimientos aparecen en formas muy diversas. Según el informe Producción de publicaciones: tendencias en EE. UU. y comparaciones internacionales, elaborado por la Fundación Nacional de Ciencia de Estados Unidos, “la producción total mundial de publicaciones en Ciencia y Tecnología alcanzó los 3,3 millones de artículos en 2022”. En conjunto, entre 2003 y 2022 se han producido más de 43 millones de publicaciones en estas áreas, y la cifra continúa creciendo cada año. Ante semejante avalancha de información, surge una pregunta inevitable: ¿qué ocurre con todo ese conocimiento? ¿Llega realmente a organizarse y aprovecharse, o se diluye en el océano de publicaciones? ¿Cómo logra un descubrimiento destacar entre millones de estudios?
Además de las publicaciones académicas, si bien esta es la más representativa, la transmisión del conocimiento científico a nivel especializado también se realiza por otros canales, destacando las universidades y los libros, pero también conferencias, simposios, repositorios y plataformas de datos de acceso abierto, entre otros. No obstante, es en las publicaciones donde este conocimiento queda registrado, clasificado, y a partir del cual pueden extraerse datos sobre los que analizar los descubrimientos recientes o menos estudiados. Finalmente, lo que subyace es un mar de información fragmentado en diversas revistas, con sus normas de publicación y políticas particulares dependientes de una editorial con ánimo de lucro en la mayoría de los casos.
El filtro editorial y el sesgo de publicación
Aunque dichos artículos estén debidamente ordenados en su publicación, con metadatos y citas que faciliten su encuentro, es inevitable que muchos hallazgos queden ocultos o solo circulen dentro de nichos muy especializados, de lo que se deduce que un amplio porcentaje de las investigaciones científicas nunca llegarán a ser accesibles para el público general. Según Scopus —base de datos internacional gestionada por Elsevier—, en septiembre de 2022 existían unas 26 000 revistas científicas activas. Para localizar artículos entre tal volumen, se recurre a herramientas como Scopus, Web of Science, PubMed o Google Scholar, la mayoría de las cuales requieren suscripción institucional o pago individual para acceder a los textos completos o a funciones avanzadas. Además, no todas las universidades cuentan con estos convenios, por lo que incluso investigadores especializados pueden ver restringido el acceso a muchas publicaciones.
Para que una investigación destaque en semejante océano, existen varios factores que intervienen, como el número de citas de la publicación (un artículo muy citado se considera más influyente), publicar en revistas de supuesto prestigio como Nature, Science o Cell e incluso la financiación que haya obtenido dicha investigación para llevarse a cabo. Además, antes de publicarse o presentarse, los trabajos son evaluados por expertos en el mismo campo del artículo (llamados pares) que deciden su relevancia y calidad. Esto hace que la atención que recibe un descubrimiento dependa de la valoración de la comunidad científica general. Ante tal escenario, se genera el llamado sesgo de publicación, donde miles de experimentos con resultados negativos o neutros nunca ven la luz. Así, la literatura científica se llena de hallazgos llamativos, positivos o convenientes, pero a menudo, frágiles. Ciertas revistas no exigen que los investigadores compartan los datos brutos ni los códigos informáticos que utilizaron para analizarlos, lo que hace imposible repetir los cálculos con independencia.
Cuando publicar importa más que verificar
A este sesgo se le suma otro factor estructural: los incentivos del sistema académico. En el mundo académico, desde los años 50, existe la expresión “publicar o perecer”, describiendo la presión constante sobre los investigadores académicos para publicar artículos científicos de forma continua, ya que los currículos, las becas y las promociones dependen del número de artículos en revistas de alto impacto, no de cuán verificables o sólidos sean. Esto genera una presión enorme por obtener resultados “positivos”, aquellos que confirman una hipótesis o muestran algo “nuevo”, porque son los que tienen más probabilidades de ser aceptados y publicados, según el mencionado sesgo de publicación. Llegados a este punto, surge otra pregunta inquietante: de toda la cantidad abrumadora de estudios científicos publicados, ¿cuántos de ellos se pueden verificar? O dicho de otro modo, ¿en general nos podemos fiar de los hallazgos científicos publicados?
Al hacer ciencia, poder repetir un experimento o un estudio para obtener resultados similares es fundamental. Esto es lo que se llama reproducibilidad e implica que, cuanto más fácil es repetir un experimento obteniendo los mismos resultados, mayor es la consistencia y, por tanto, la fiabilidad de sus conclusiones. De esta preocupación, en el año 2022, la Universidad de Newcastle (Inglaterra) lideró un estudio titulado «¿Cómo de reproducible y fiable es la investigación geofísica?», en el cual se abordaba esta cuestión centrándose en el ámbito de la geofísica, a modo de muestra sobre los mencionados procesos generales de publicación científica. Los resultados son reveladores. El estudio planteó tres objetivos principales:
1. Cuánto se habla de reproducibilidad y fiabilidad en la literatura geofísica.
2. Qué políticas tienen las revistas sobre compartir datos, programas informáticos y códigos de análisis.
3. Cómo de accesibles son realmente los datos y los programas informáticos en los artículos publicados, cruciales para poder reproducir los hallazgos.
Qué se analizó y qué se encontró
Al abordar el estudio, cada objetivo tuvo su propia metodología. Para el primero, se examinaron las 100 revistas especializadas más destacadas en geofísica entre los años 1990 y 2022 con el ánimo de encontrar artículos que mencionaran las palabras “reproducibilidad” o “fiabilidad” y sus respectivas familias léxicas en su título (“reproducible”, “reproducción”, “reproducir”, “fiable”, “fiablemente”, etc.). En el citado intervalo de treinta años, el estudio halló 417 artículos con palabras de la familia léxica de “fiabilidad” frente a solo 72 con palabras de la familia de “reproducibilidad”. Cabe destacar que de dichos artículos, un 70 % en el caso de “reproducibilidad”, y un 50 % en el de “fiabilidad”, fueron escritos en el intervalo 2010-2022, lo que demuestra que existe un interés creciente, al menos en el ámbito geofísico, sobre ambos temas, siendo el de la fiabilidad predominante. Aun así, son cifras muy inferiores al número de artículos publicados cada año.
Por otro lado, el segundo objetivo del estudio se centró en examinar las políticas editoriales de las revistas respecto a la disponibilidad de los datos utilizados en las investigaciones. Este aspecto es esencial, ya que si un estudio publica conclusiones sin ofrecer acceso a los datos que las sustentan, resulta imposible reproducir sus resultados y, en consecuencia, su fiabilidad queda en entredicho. El equipo liderado por la Universidad de Newcastle revisó las políticas de las 20 revistas más influyentes en geofísica y descubrió una notable falta de uniformidad. Aunque la mayoría reconoce la importancia de compartir los datos y el código empleado en cada estudio, las normas varían considerablemente. Solo 4 revistas (20 %) exigen que los datos estén disponibles e incluyen una declaración formal sobre cómo acceder a ellos —un requisito fundamental para garantizar la transparencia—. En otras 12 revistas (60 %), la disponibilidad de los datos es obligatoria, pero sin la citada declaración, lo que impide al lector saber si existen más conjuntos de datos además de los mencionados en el artículo, a menudo dispersos o incompletos. En cuanto al código informático, la situación es aún más restrictiva: solo 1 revista (5 %) exige su publicación, mientras que 12 (60 %) lo fomentan sin imponerlo y 7 (35 %) ni siquiera lo mencionan.
Cabe destacar que el lenguaje empleado en estas políticas es normativo, cercano al jurídico-administrativo (presenta ambigüedad al abordar cuestiones diciendo, por ejemplo, “se debería”, “se recomienda”, sin dejar claro si los datos “deben” hacerse accesibles o no), y difiere notablemente del lenguaje científico-técnico de los artículos publicados (por lo general menos ambiguo). Esto se debe a que, en general, en las políticas revisadas prevalece la legalidad de la publicación y los intereses comerciales de las editoriales, que operan dentro del entorno científico (teóricamente orientado a la apertura y el acceso universal), pero que generan desconfianza sobre la validez de los estudios publicados, como ponen de manifiesto las carencias encontradas en esta parte del estudio liderado por la Universidad de Newcastle.
Por último, para el tercer objetivo se recopiló una muestra aleatoria de 200 artículos de las citadas 20 revistas y se analizaron a fondo para determinar si los datos o programas informáticos son realmente accesibles. Un primer hallazgo fue que los investigadores no pudieron acceder a 9 de los artículos escogidos por falta de convenio entre la editorial y la universidad. De los 191 restantes, aunque la mayoría incluían declaraciones sobre la disponibilidad de datos, no todos los datos sobre los que se basaban las investigaciones eran realmente accesibles. Las conclusiones fueron las siguientes:
- El 47 % de los artículos ponía a disposición los datos utilizados en sus investigaciones de manera accesible para los lectores, facilitando cualquier futura comprobación.
- La disponibilidad de los datos para aproximadamente el 30 % de los artículos era desconocida, debido a factores como la falta de una declaración de datos o de una declaración ambigua en la que se mencionaban ciertos datos, pero en el cuerpo de los artículos se encontraban enlaces a datos adicionales que no figuraban en la declaración.
- Aproximadamente el 17 % no tenía disponibles los datos debido a motivos de confidencialidad o al hecho de que los enlaces que llevaban a los datos estaban rotos o eran genéricos (enlaces que dirigían a la página principal del repositorio sin incluir la referencia donde encontrarlos).
- El 6 % restante facilitaba el acceso a los datos previo contacto con los autores, lo cual mantiene la incertidumbre.
Igualmente, se observó que los artículos de acceso abierto al público general tienen más probabilidad de compartir datos que los artículos con pago por suscripción o por convenio.
La reproducibilidad como asignatura pendiente
También hay diferencias según el tipo de investigación: los estudios de geofísica aplicada a recursos o industria casi nunca comparten datos, mientras que investigaciones de alcance global o fundamental en sismología suelen ofrecer enlaces a los datos subyacentes. Por supuesto, todos los artículos publicados contaron con el visto bueno de los pares, incluyendo aquellos que no tenían los datos disponibles, lo cual es aún más inquietante, ya que son ellos los que, en última instancia, permiten que una publicación pueda llevarse a cabo.
Estos hallazgos revelan que, incluso en disciplinas rigurosas como la geofísica, la reproducibilidad y la fiabilidad de los estudios no están garantizadas. Menos de la mitad de los artículos ponen a disposición los datos completos, y el acceso a los programas informáticos utilizados es aún más limitado, lo que hace imposible verificar muchos resultados de manera independiente. A esto se suma que las políticas de las revistas, redactadas con lenguaje normativo y con intereses comerciales detrás, rara vez exigen claridad y transparencia total. Así, el lector se enfrenta a un espejismo engañoso donde la ciencia se presenta como un conocimiento seguro y acumulativo, pero cierta parte de sus descubrimientos permanecen, parcial o totalmente inaccesibles, cuestionando la certeza que solemos atribuir a los estudios publicados. La moraleja apunta a que la ciencia avanza muy deprisa pero la capacidad de comprobarla, o de ordenarla, todavía se mantiene muy limitada, revelando su fragilidad. La reproducibilidad y fiabilidad, más que realidades, parecen aspiraciones todavía lejanas.
Referencias
- Ireland, M., et al. (2023). How reproducible and reliable is geophysical research? A review of the availability and accessibility of data and software for research published in journals. Seismica, 2(1). doi: 10.26443/seismica.v2i1.278
- National Science Board. (2023). Publication output by region, country or economy and by scientific field. National Center for Science and Engineering Statistics. https://ncses.nsf.gov/pubs/nsb202333/publication-output-by-region-country-or-economy-and-by-scientific-field
