|
La esquizofrenia de las publicaciones
científicas: factor de impacto versus popularidad
[Versión para imprimir]
Loke y Derry publicaron el año 2000 un metaanálisis en
la revista British Medical Journal (habitualmente llamada "BMJ") sobre el riesgo de hemorragia digestiva con el uso
prolongado de aspirina (1). Se sintieron sorprendidos y decepcionados,
cuando comprobaron que en la semana siguiente a la publicación su artículo
había sido visitado "solo" 1.236 veces en la versión electrónica de la
revista, mientras que el editorial que lo acompañaba (2) había sido
visitado casi 4.000 veces.
En vista de lo ocurrido, estos autores decidieron investigar lo que la gente lee cuando
visita una revista electrónica de prestigio, como es el BMJ (3). Una de
las muchas ventajas de las publicaciones electrónicas con respecto a las
tradicionales revistas en papel es que resulta sencillo comprobar la
"popularidad" del material publicado, midiendo el número de visitas
recibidas por cualquier artículo colocado en Internet. Así, el BMJ publica un "hit parade" en el que se da a
conocer el número de visitas de cada artículo en la semana siguiente a la
de su publicación electrónica, dando buena medida de la popularidad
relativa de los mismos.
|
Nuestros investigadores encontraron que en el año
2001 las revisiones narrativas y los editoriales eran
leídos mucho más a menudo que los artículos originales de investigación,
las revisiones sistemáticas y los metaanálisis, en una
proporción prácticamente de 4 a 1. Los editoriales fueron leídos casi 3
veces más que los artículos originales a los que acompañaban. |
Loke y Derry discuten estos interesantes hallazgos (3),
haciendo notar que en
los últimos años se han puesto en práctica iniciativas destinadas a
mejorar la estructura y la calidad de las publicaciones científicas (CONSORT,
QUORUM,
STARD,
MOOSE y otras
siglas), pero se ha descuidado su legibilidad. Apuntan que los autores y los editores deben tomar medidas para
hacer sus trabajos de investigación más atractivos para los lectores,
utilizando un lenguaje más sencillo y coloquial.
Una vez más, las publicaciones
electrónicas pueden ofrecer más ventajas que las publicaciones impresas a
este respecto, ofreciendo soluciones imaginativas e innovadoras, como
la presentación de escritos cortos y amenos, dejando los detalles técnicos
y metodológicos en otro lugar, disponibles para los lectores interesados.
Algunas revistas, como el propio
BMJ, ya
han empezado a publicar en Internet dos versiones de sus artículos, las
completas y las resumidas, y es práctica habitual de muchas publicaciones
electrónicas presentar datos suplementarios de sus artículos en documentos aparte, solo disponibles en Internet, pero
no en las versiones impresas.
En
REMI nos hacíamos eco del problema de la calidad de
la escritura científica
hace unos meses, cuando B. Sánchez Artola discutía sobre "La legibilidad de la
literatura médica: ¿se entiende lo que escribimos?" (4). Weeks y
Wallace (5) aplicaron dos test estándar de legibilidad, y concluyeron que
los artículos originales publicados en dos de las revistas médicas más
importantes,
BMJ y
JAMA, son "extremadamente
difíciles de leer". La Porte planteaba
el contraste entre la enrevesada sintaxis de los "papeles" científicos y
la directa simplicidad de una presentación en Powerpoint (6), poniendo
ejemplos de frases que se pueden leer a menudo en nuestras revistas, y que
ponen dolor de cabeza incluso a los más acostumbrados.
El modelo
tradicional de artículo científico se encuentra cada vez más cuestionado,
y se echan en falta propuestas imaginativas que empiecen a cambiar el
rumbo de las cosas. La revista
Annals of
Internal Medicine publica un resumen de sus artículos para los
pacientes, escrito en inglés coloquial desprovisto de la jerga médica, en
lo que podría ser un modelo a seguir: pero no solo para los pacientes,
sino también para nosotros, los profesionales a quienes van dirigidas esas
publicaciones que solo excepcionalmente somos capaces de leer.
En su comentario sobre las razones que impulsan a los
lectores a preferir los editoriales y los artículos de opinión, que
constituyen una literatura de "menor" contenido científico, Loke y Derry
señalan que el problema no es solo de legibilidad, sino también del exceso de
información que se
nos presenta: nos resulta completamente
imposible leer la ingente cantidad de "nueva" información científica que
se genera día a día, mes a mes.
Pero no perdemos mucho; la relevancia práctica de dicha
información es escasa: no podemos dedicarle mucho tiempo, pero tampoco
importa. Eso sí, necesitamos
que alguien, alguien de confianza, nos tamice esa información y nos la dé
seleccionada y digerida, nos la haga comprensible en dos palabras: por eso vamos al
editorial en vez de al artículo original, a la revisión narrativa en vez
de la revisión sistemática, al resumen en vez de al desarrollo, a la
publicación secundaria en vez de a las fuentes originales. Frente a
la frialdad y la aridez del metaanálisis, la cercanía del artículo de opinión;
el editorialista me dice con qué me tengo que quedar de ese artículo casi
ilegible.
Sin embargo, la confianza en estas lecturas "alternativas" tiene sus
peligros, que son, obviamente, que nos presenten una visión sesgada de las
cosas. Y nadie está libre de esos sesgos: ni las revistas de mayor
prestigio, ni siquiera las organizaciones que dan predominancia a las
cuestiones metodológicas, como la colaboración Cochrane. Es obligado
aquí recordar uno de los enunciados de la medicina basada en la evidencia, que
siempre deberíamos tener presente: no hay
que juzgar lo que se dice por la notoriedad de quien lo dice, sino por la
solidez de los argumentos en que se basa.
Una razón en mi opinión no menos importante de los
datos destacados por Loke y Derry es que los autores, probablemente, no
escriben para ser leídos (seguramente dan por hecho que la mayoría de
los profesionales no les van a leer): quizá se preocupan más por lograr colocar su
trabajo en una revista de alto impacto que por la audiencia potencial de
sus escritos; asegurarse de que en determinados ambientes se sepa dónde
han publicado, entrar o mantenerse en la "élite" de los expertos en una
determinada cuestión; mejorar su
currículum vítae, de cara a
progresar en su carrera profesional; y, solo secundariamente, ser leídos por un gran número de personas
a quienes aportar una información útil.
Ésta podría ser la razón de la escala legibilidad de
los escritos médicos: si se escribe solo para unos pocos, que son los que
se espera que van a leer nuestros trabajos, se emplea la jerga de los
"iniciados", de los entendidos en la materia; se repite no solo el
contenido, sino también la sintaxis de escritos previos (muchas veces
traducida de modo inadecuado en el caso de los artículos en español); se citan de manera
repetitiva, como un rito, los artículos de referencia obligada: si se supone
que entiendo de ésto, no puedo dejar de citar a fulanito y a menganito; se
auto-citan a sí mismos, para reforzar su posición de expertos y aumentar
su impacto; citan las
revistas en las que se publica su trabajo, lo que aumenta el factor de
impacto de las mismas, y así agradecen a los editores que les acepten su
publicación; citan
selectivamente las publicaciones de las revistas de alto impacto,
favoreciendo el oligopolio de las publicaciones científicas; citan
selectivamente (¿para ser citados?) las publicaciones de los otros expertos
en la materia, procurando que el clan sea lo más cerrado y
reducido posible. Estas citas obligadas, auto-citas
y citas selectivas constituyen la base del cálculo del factor de
impacto de autores y revistas.
Sackett (el principal popularizador de la "medicina
basada en la evidencia") decía algo así como que para mantenerse actualizado no necesitaba leer ninguna revista científica
(por sus contenidos irrelevantes), y
que no se compraba jamás ningún libro de medicina (por lo desfasado de sus
contenidos). El pensamiento encierra un significado contradictorio, pues
si lo novedoso es irrelevante, los contenidos menos recientes no pueden
quedar desfasados con tanta rapidez. Pero ponía el dedo en la llaga al señalar
el inflacionismo de las publicaciones médicas, y la
vacuidad fundamental de la mayoría de las miles de páginas que publican cada año
muchas de las revistas que consideramos esenciales para nuestra rama de la
medicina.
Un fenómeno que se observa con frecuencia, y
sobretodo en las revistas de "élite", que compiten unas con otras por el
liderazgo en un mercado millonario, es la publicación de trabajos de calidad
dudosa (7), o presentados de manera sesgada (8), siempre y cuando se trate
de un tema relevante, de interés para una amplia audiencia. Probablemente
pocos lectores van a dedicar el tiempo suficiente a
desmenuzar el artículo, y la mayoría lo leerán solo por encima,
en muchos casos solo el resumen que
presentan del mismo los propios autores. ¿cuántos leen un artículo
completo?. Poco importa que luego el trabajo
sea criticado, que las publicaciones secundarias lo coloquen en el lugar
que le corresponde, que las revisiones sistemáticas relativicen su valor:
publica, que algo queda; el lector efectivamente se queda con una idea esquemática,
poco crítica, coincidente la mayoría de las veces con el mensaje que le han querido transmitir, y no con el valor
real del artículo. Interesa desde una óptica comercial que el artículo, o
mejor el editorial acompañante, sean provocativos; incluso, las cuestiones
discutibles o errores garrafales del estudio publicado pueden aumentar su
impacto, al generar una amplia correspondencia. Así se van introduciendo
en la práctica clínica tratamientos de eficacia cuando menos dudosa, como
ha pasado con la fibrinolisis en el ictus, con la
fibrinolisis en la
embolia pulmonar, con los
corticoides en el shock séptico,
y ahora, con la
vasopresina en el paro cardiaco.
Dos recientes artículos del JAMA (9, 10) dan
cuenta de cómo la publicación de ensayos clínicos en revistas de prestigio
modifica la práctica clínica de los profesionales, aunque desconocemos
los factores que determinan en qué grado lo hacen, o cómo la calidad de los trabajos científicos u otros factores influyen en
ello. Es éste un tema complejo, en el que confluyen intereses no solo
comerciales, sino también corporativos. La última ha sido la década de la
profusión de las guías de práctica clínica, y habrá que analizar si existen
otros determinantes de los contenidos de las mismas aparte de los
puramente científicos, pero cada vez está más claro que existen "lobbies" y
grupos de presión que intervienen en ellas, con intereses no
necesariamente legítimos (11, 12, 13, 14).
Otro artículo reciente presenta información
relacionada con la de Loke y Derry, solo en apariencia contradictoria. Montori
et al. (15), identificaron artículos de revisión en 170 revistas médicas del año
2000, a fin de estudiar en qué tipo de revistas se publicaba cada tipo de
revisión. Encontraron que la mayoría de las revisiones sistemáticas (el
80%) se publicaban en una minoría de revistas (el 11%), con solo una débil
correlación entre el factor de impacto de las mismas y su contenido en
revisiones sistemáticas, consideradas de mayor calidad. Destaca el caso
particular de la revista
New England Journal of Medicine, que, siendo de
las de mayor factor de impacto, por decisión editorial no publica
revisiones sistemáticas. Montori encuentra que las revisiones
sistemáticas son citadas más a menudo que las revisiones
narrativas, lo que los autores consideran un apoyo del mayor valor
"jerárquico" de este tipo de publicaciones, desde el punto de vista de la
evidencia científica (que no del del interés o la legibilidad, añadiríamos).
Estos resultados contrastan con los anteriores: resulta
que las revisiones sistemáticas son más citadas (estudio de Montori), pero se leen menos
(estudio de Loke y Derry) que los comentarios editoriales y las revisiones
narrativas. Se plantea aquí una interesante cuestión: ¿qué sentido tiene
que las publicaciones más valoradas desde el punto de vista científico sean consideradas por los lectores como
menos interesantes?. En un escrito posterior seguiremos discutiendo éstas
y otras cuestiones.
Bibliografía:
-
Derry S, Loke YK. Risk of gastrointestinal haemorrhage
with long term use of aspirin: meta-analysis. BMJ 2000, 321: 1183-1187. [Texto
completo] [Resumen
Medline] [Artículos
relacionados Medline]
-
Tramer MR. Aspirin, like all other drugs, is a poison. BMJ
2000, 321: 1170-1171. [Texto
completo] [Artículos
relacionados Medline]
-
Loke YK, Derry S.
Does anybody read "evidence-based" articles?.
BMC Med Res Methodol 2003, 3: 14.
[Texto completo]
[Resumen
Medline] [Artículos
relacionados Medline]
-
Sánchez Artola B. Legibilidad de la
literatura médica: ¿se
entiende lo que escribimos?. [REMI
2003; 3 (2): S7]
-
Weeks WB,
Wallace AE.
Readability of British and American medical
prose at the start of the 21st century. BMJ 2002; 325: 1451-1452. [HTML]
[PDF].
-
LaPorte RE, Linkov F, Villasenor T,
Sauer F, Gamboa C, Lovalekar M, Shubnikov E, Sekikawa A, ER Sa. Papyrus to
PowerPoint (P 2 P): metamorphosis of scientific communication. BMJ 2002;
325: 1478-1481. [HTML]
[PDF].
-
Palencia E. Hemofiltración para prevenir la toxicidad
renal del contraste intravenoso. [REMI
2003; 3 (12): 688]
-
Palencia E. Editorial. Vasopresina, adrenalina:
presentación inadecuada de los resultados. [REMI
2004; 4 (1): E47]
-
Stafford RS, Furberg
CD, Finkelstein SN, Cockburn IM, Alehegn T, Ma J. Impact of Clinical Trial
Results on National Trends in alpha-Blocker Prescribing, 1996-2002.
JAMA 2004; 291: 54-62. [Resumen]
[Texto
completo]
-
Hersh AL, Stefanick ML,
Stafford RS. National Use of Postmenopausal Hormone Therapy. Annual Trends
and Response to Recent Evidence. JAMA 2004; 291: 47-53. [Texto
completo] [Resumen Medline]
-
Lenzer J, Warlow C, Saver
JL, Kidwell CS, Starkman S. Alteplase for stroke: money and optimistic
claims buttress the "brain attack" campaign. Commentary: Who pays the
guideline writers?. Commentary: Thrombolysis in stroke: it works!.
BMJ 2002; 324: 723-729. [Texto
completo] [PDF]
-
Alteplase for stroke. (Letters).
Mann H, Li J, Nathanson LA, Mills TJ, Netland KE, Paula R,
Ragland D, Faxon D, Solomon RC, Hoffman JR, Lenzer J, Saver JL, Kidwell CS,
Starkman S. BMJ 2002; 324: 1581. [Texto
completo]
-
Lenzer J. Independent
panel finds alteplase beneficial
for acute stroke patients.
BMJ 2003; 326: 1234. [Texto
completo]
-
Lenzer J.
Proposed US stroke centres under fire for planned use of alteplase. BMJ 2003;
327: 247. [Texto
completo]
-
Montori VM, Wilczynski NL, Morgan D, Haynes RB.
Systematic reviews: a cross-sectional study of location and citation
counts. BMC Med. 2003; 1: 2.
[Texto completo]
[Resumen
Medline] [Artículos
relacionados Medline]
Eduardo Palencia Herrejón
Servicio de Medicina Intensiva
Hospital Gregorio Marañón, Madrid
©REMI,
http://remi.uninet.edu.
Enero 2004.
Envía tu comentario para su
publicación |
