El timo de la estampita científica

Hace dos años, el periodista de ciencia y biólogo John Bohannon hizo algo que enfureció a muchos: envió 304 estudios científicos inventados, ridículamente malos para alguien con el conocimiento necesario, a otras tantas revistas especializadas; de ellos, 157 fueron aceptados para su publicación.

Figura 1 del ‘estudio’ de Mazières y Kohler.

Antes de explicar el qué y el cómo, hay que aclarar el porqué. Las revistas científicas tradicionales, como Nature y Science –Bohannon trabaja para esta última–, funcionan según un modelo de negocio basado en suscripciones y publicidad, como cualquier publicación clásica, aunque muchas de ellas también cargan una tarifa a los autores por publicar sus estudios.

Desde principios de siglo ha surgido en la ciencia un modelo alternativo llamado Open Access, o acceso abierto. Las revistas adscritas a este sistema, todas ellas digitales, ofrecen sus contenidos de forma libre y gratuita en internet para todos los lectores, y a cambio obtienen sus ganancias exclusivamente de las tasas de publicación cobradas a los autores. Ciertas revistas ofrecen un modelo mixto, permitiendo a los autores que elijan si desean que su estudio sea de acceso abierto a cambio de una tarifa. Algunos científicos prefieren asumir este coste –que en muchos casos sale de sus bolsillos– porque su principal interés es que sus estudios se lean, se conozcan y se citen, y el acceso abierto amplía la difusión de sus investigaciones.

Pero cualquier revista científica, sea de suscripción o acceso abierto, solo puede ser calificada como tal si incluye un sistema de peer review o revisión por pares:todo estudio con pretensiones de publicarse debe ser examinado concienzudamente por expertos independientes (referees), quienes darán su veredicto al editor. Es extremadamente improbable, si es que alguna vez ocurre, que un estudio sea aceptado tal cual lo enviaron sus autores; las respuestas más habituales se reparten entre el rechazo directo, o bien la petición a los investigadores de ciertas modificaciones de mayor o menor calado, que pueden incluir la necesidad de llevar a cabo experimentos adicionales.

Algunas revistas Open Access de nuevo cuño, como F1000Research o PeerJ, publican los estudios según se reciben con la sola aprobación de los editores, y el proceso de peer review se lleva a cabo después de forma pública y transparente. La ventaja de este sistema es que acelera enormemente la difusión de los resultados científicos; el modelo tradicional puede demorar la publicación de un trabajo hasta más de un año, entre rechazos y modificaciones. Pero todo el que consulte tales estudios siempre debe tener presente cuál es su estado de revisión.

Sin embargo, el acceso abierto también tiene un lado oscuro y podrido. Internet es el paraíso de timadores, trapacistas y listillos en general, desde la carta nigeriana a las modelos rusas buscando marido. Y allí donde hay posibilidad de hacer dinero fácil a costa de algún incauto, aparecen. Los científicos son víctimas propiciatorias: necesitan desesperadamente publicar sus trabajos, porque de ello dependen sus proyectos, ayudas, becas y carreras. Así que basta con constituir una sociedad con sede donde sea, crear una revista-web con algún nombre pomposo —International Journal ofWhatever–, comprar un ISSN (el equivalente al ISBN de los libros), hacerse con una base de datos de correos de investigadores, enviar una tanda de emails a algunos elogiando su trabajo e invitándolos a actuar desinteresadamente como referees –lo que también suma al currículum de un científico–, enviar una segunda tanda de emails a otros invitándolos a someter sus trabajos para publicación sin mencionar las tarifas… Y listos; a sentarse y hacer caja: por cada artículo, trescientos dólares, quinientos, mil, dos mil, cinco mil…

Lo cierto es que no hay nada estrictamente ilegal o delictivo, aunque en muchos casos quien esté detrás del International Journal of Superhipermegamaxiexcellent Science sea una sola persona que no tiene la menor idea de ciencia, ni exista realmente ningún peer review y los artículos sean aceptados sin revisión, mientras algunos de los que recibieron la primera tanda de emails tal vez lleguen a descubrir que figuran como referees de una revista sin haber revisado jamás un solo trabajo. No hay nada estrictamente ilegal o delictivo, pero sí un devastador atentado contra la ética científica, porque esta práctica tramposa está otorgando el marchamo de ciencia sin criterio alguno a trabajos de pésima calidad y enfangando el sistema de publicación que guía el progreso científico tan dependiente del conocimiento colectivo.

Nada ilustra mejor el extremo al que llega el problema que el caso del estudio creado en 2005 por los científicos computacionales David Mazières y Eddie Kohler. Hartos de recibir toneladas de spam invitándolos a conferencias no deseadas, escribieron un estudio titulado Get me off your fucking mailing list (Sácame de tu puta lista de correo). Las diez páginas del trabajo repetían una y otra vez la misma y única frase del título, incluso en los gráficos, en el mejor estilo de Jack Torrance en El resplandor. El estudio circuló por la red, y tiempo después un científico australiano llamado Peter Vamplew decidió enviarlo a una revista llamada International Journal of Advanced Computer Technology en respuesta a un email que le invitaba a publicar sus trabajos. Vamplew esperaba con ello detener el spam, pero lo que ocurrió en su lugar fue muy diferente: la revista aceptó su estudio calificándolo de “excelente” y adjuntando la factura: 150 dólares.

Primera página del ‘estudio’ de Mazières y Kohler.

El caso de Vamplew es solo una anécdota que, sin embargo, sugiere la existencia de un problema serio de fondo. En 2013, Bohannon se propuso analizar y calibrar la magnitud de este problema, a raíz del caso de una investigadora africana que al parecer podía ser víctima de un timo similar. Para ello decidió fabricar un montaje a gran escala que destapara la estafa de las (apelativo que no me gusta nada) revistas depredadoras.

Bohannon se inventó que el compuesto X extraído del liquen Y frenaba el crecimiento de las células tumorales Z, y que el efecto era mayor en presencia de una dosis de radiación inferior a la habitual en radioterapia. Utilizando distintos X, Y y Z, creó por ordenador un total de 304 estudios por lo demás idénticos. Para cualquier profano, los estudios resultarían simplemente tan ininteligibles como cualquier otro trabajo auténtico; pero bastaría un nivel de estudiante de doctorado en biología celular para detectar al primer golpe de vista que los experimentos estaban desastrosamente diseñados y que no apoyaban en absoluto las conclusiones, sino más bien lo contrario. Todos ellos iban firmados por científicos ficticios de falsas instituciones africanas, lo que en opinión de Bohannon no levantaría sospechas si algún editor avispado trataba de rastrearlos en internet.

Los resultados del montaje de Bohannon se detallan en el artículo que escribió para Science, pero valga este resumen: 157 revistas aceptaron el estudio y solo 98 lo rechazaron; el resto de las publicaciones ya no existían o se demoraron en responder. De las 255 que tomaron una decisión, el 60% lo hicieron sin signos de revisión alguna. De las 106 que sí revisaron, el 70% aceptaron el estudio con solo sugerencias menores referentes al formato o al lenguaje, no al contenido científico. Solo en 36 casos hubo críticas a la calidad científica, pero incluso en 16 de estos los editores dieron el visto bueno a la publicación.

Con todo lo pasmoso de las cifras, lo más preocupante se revela en dos detalles. En primer lugar, 167 de las 304 revistas figuran en el Directory of Open Access Journals, un índice creado en la Universidad sueca de Lund que presume de incluir solo publicaciones suficientemente acreditadas; de esas 167, el 45% de las que completaron el proceso aceptaron el estudio de Bohannon. En segundo lugar, no tiene nada de raro que muchas de las revistas predadoras utilicen palabras como American o European en sus títulos y exhiban presuntas sedes sociales en EE. UU. o Europa, pero que sus direcciones IP revelen negocios basados en India, Paquistán, China o Turquía (también varios en EE. UU.; ninguno en España); pero en cambio, resulta inaudito que algunas de las revistas que aceptaron el estudio pertenezcan a poderosas multinacionales de la publicación científica como Elsevier, Wolters Kluwer y Sage.

Después de que Bohannon publicara sus conclusiones, Wolters Kluwer cerró el Journal of Natural Pharmaceuticals, la revista que había aceptado el estudio. Por su parte, Elsevier se lavó las manos alegando que Drug Invention Today en realidad no pertenecía a la compañía sino a un tercero; el científico indio que figuraba como director declaró a su vez que el proceso editorial dependía de Elsevier. Pero más ignominiosa fue la respuesta del prestigioso científico británico que dirigía el Journal of International Medical Research, la revista del grupo Sage que aceptó el estudio sin un solo pero y adjuntando una factura de 3.100 dólares; Malcolm Lader admitió su completa responsabilidad, pero arremetió contra Bohannon: “Debe existir necesariamente un elemento de confianza en la investigación […]. Estas actividades suyas desmerecen esa confianza”, escribió Lader.

El montaje de Bohannon ha inspirado desde entonces a otros para seguir poniendo en evidencia la existencia de revistas depredadoras. En abril de 2014, el periodista del diario Ottawa Citizen Tom Spears decidió llevar el experimento al extremo para comprobar hasta qué punto un estudio enteramente disparatado, plagiado meclando trozos de estudios auténticos para construir un Frankenstein sin ningún sentido ni razón, podía abrirse paso hasta la carta de aceptación.

El título del estudio de Spears era Acidity and aridity: Soil inorganic carbon storage exhibits complex relationship with low-pH soils and myeloablation followed by autologous PBSC infusion. O sea: Acidez y aridez: el almacenamiento de carbono inorgánico en el suelo exhibe relación compleja con suelos de bajo pH y mieloablación seguida por infusión autóloga de PBSC. Y tan compleja; porque la primera parte del título habla de geología del suelo, mientras que la segunda fue extraída de un trabajo sobre el tratamiento del cáncer con células madre. El resto del estudio seguía el mismo patrón, incluyendo algunos párrafos sobre Marte, referencias a la química del vino y el glorioso invento de algo llamado “plaquetas sísmicas”. Spears envió su manuscrito a 18 revistas. Ocho de ellas lo aceptaron.

En diciembre de 2014, el científico computacional Alex Smolyanitsky coló en dos revistas de su área un estudio firmado por dos personajes de Los Simpson, Margaret Simpson (Maggie) y Edna Krabappel (la sita Carapapel en España), junto con un tercer autor llamado Kim Jong Fun (un juego de palabras con el nombre del dictador norcoreano y la palabra “diversión” en inglés). El texto era un descabellado galimatías creado con SCIgen, un generador automático de estudios absurdos diseñado en 2005 en el Instituto Tecnológico de Massachusetts y disponible en internet.

Bien pensado, tal vez si muchos más científicos emularan a Smolyanitsky, el creciente problema de las revistas depredadoras podría aminorarse. Los seudoeditores no quieren publicar estudios falsos, ya que eso acabaría con su negocio; el timo se basa en esa “confianza” de la que hablaba Lader. Si sus oleadas de spam recibieran como respuesta otros tantos miles de estudios, sabrían con certeza que muchos de ellos serían falsos, por lo que no tendrían más remedio que revisarlos, posiblemente sin el conocimiento ni el criterio necesarios para hacerlo, emprendiendo además miles de búsquedas en internet para comprobar la existencia real de los firmantes. Y en cualquier caso, tampoco recibirían ningún pago por los finalmente aceptados; se verían obligados a cerrar. Sería tan fácil como que los científicos afectados por este acoso copiaran y pegaran textos de estudios ya publicados, como hizo Spears.

Con todo, hay lenguas maldicientes que quieren ver en el montaje de Bohannon una causa general contra el movimiento Open Access, dado que él trabaja para Science. Pero él mismo mencionaba en su texto que el modelo de revista tradicional tampoco necesariamente está exento de posibles agujeros graves en su proceso editorial; desde hace tiempo se viene hablando de la crisis del sistema de peer review. En febrero de 2014, dos grandes grupos editoriales como IEEE y Springer se vieron obligados a reconocer que les habían colado nada menos que 120 estudios falsos, generados por SCIgen, en 30 recopilaciones de comunicaciones a congresos. Estas pasan un filtro mucho menos exigente que el peer review de las revistas, pero en cualquier caso se supone que un humano las revisa para comprobar su autenticidad.

Recientemente, Bohannon ha vuelto a dar la campanada con otro experimento científico-editorial, que en este caso además destapa la baja calidad del presunto periodismo de ciencia que se practica en muchos medios

http://blogs.20minutos.es/ciencias-mixtas/2015/06/13/el-timo-de-la-estampita-cientifica/