[Risk of Publication Bias in Therapeutic Interventions for COVID-19Risco de viés de publicação em intervenções terapêuticas para a COVID-19].

This article describes publication bias, its most frequent causes, its characteristics, the regulatory tools to avoid it, and some statistical techniques to analyze it. These techniques are explained and applied to three therapeutic interventions related to the 2019 coronavirus disease (COVID-19): corticosteroids, ivermectin, and tocilizumab. Risk of publication bias was detected for ivermectin and tocilizumab. Systematic reviews and meta-analyses are secondary research designs that provide a reference to guide decision-making. They are prone to different types of bias, i.e., a systematic deviation in the results. Even if carried out with methodological rigor, their validity can be threatened by publication bias. This is defined as the act of concealing or delaying publication, withholding data arising from research studies, or both. Up to half of controlled trials remain unpublished. During the H1N1 virus pandemic, publication bias from industry-funded studies led to the recommendation and large-scale procurement of oseltamivir, a drug that later proved to have no relevant beneficial effects. Two-thirds of clinical trial funding for COVID-19 comes from the pharmaceutical industry. In the context of the COVID-19 pandemic, studies are published at an accelerated pace, making it very important to understand and identify publication bias. To reduce publication bias it is necessary to regulate the registration and publication of clinical trials, but this requires coordination among countries and international bodies. It is important to suspect and attempt to identify publication bias for decision making.

Las revisiones sistemáticas (RS) y los metaanálisis (MA) representan el más alto nivel de evidencia sobre intervenciones terapéuticas. Si están elaborados y actualizados de manera adecuada, se presentan como la fuente de información con menor riesgo de sesgos acerca de la eficacia de los tratamientos (1). Una RS tiene como objetivo reunir toda la evidencia empírica que cumple con criterios de elegibilidad previamente establecidos, con el fin de responder una pregunta específica de investigación. Utiliza métodos sistemáticos y explícitos, con el fin de minimizar sesgos, de esta manera, aporta resultados más fiables a partir de los cuales se puedan extraer conclusiones y tomar decisiones (2). El MA consiste en la aplicación de métodos estadísticos para resumir los resultados de estudios independientes (1). Al combinar la información de todos los estudios relevantes, el MA puede obtener estimaciones más precisas de los efectos que las derivadas de los estudios individuales. También permite investigar la consistencia de la evidencia y explorar diferencias entre estudios.

Las RS y MA se utilizan como insumo para elaborar guías de práctica clínica, confeccionar listados de medicamentos esenciales y para incorporar sus resultados en las evaluaciones económicas.

Las RS y los MA pueden verse afectados por distintos tipos de sesgos. Un sesgo es un error o desviación sistemática en los resultados (1). Existen múltiples sesgos, y comprenderlos es relevante porque existen en todo tipo de investigación y son difíciles de eliminar. Además, el sesgo puede ocurrir en cada etapa del proceso de investigación y tiene efecto en la validez y confiabilidad de los hallazgos del estudio. Una interpretación incorrecta de los datos puede tener consecuencias importantes en el sistema de salud (3). Entre los diferentes tipos de sesgos, uno de gran trascendencia es el sesgo de publicación, donde solo un subconjunto sesgado de todos los datos relevantes está disponible (4), ya sea porque se retrasó la publicación o porque se retuvieron datos (5).

Los estudios no identificados pueden producir estimaciones mayores o menores en relación con los efectos identificados. Es más frecuente el problema de los estudios "negativos", donde su omisión conduce a un sesgo que sobreestima el efecto de la intervención. Existen diferentes causas de sesgo de publicación, incluidos los que se relacionan con intereses financieros, el idioma de la publicación, los resultados del estudio, y el sesgo de familiaridad, de disponibilidad y de costos (6). Una revisión sistemática de la colaboración Cochrane ha identificado mayor riesgo de sesgo de publicación en estudios financiados por la industria farmacéutica en comparación con otras fuentes de financiamiento (7). La publicación de documentos internos como resultado de acuerdos de conciliación en litigios han revelado ejemplos de manipulación de la industria farmacéutica en la realización y publicación de estudios (8). Los resultados negativos se anuncian con menos frecuencia y demoran más tiempo que los resultados positivos en publicarse (9).

En este artículo se describen diferentes aspectos relacionados con el riesgo de sesgo de publicación en las RS y MA, sus características, las causas más frecuentes, las herramientas regulatorias para evitarlo y las técnicas estadísticas más utilizadas para analizarlo. Como ejemplo se realiza un análisis estadístico para valorar el riesgo de sesgo de publicación en tres intervenciones terapéuticas relacionadas con la enfermedad por el coronavirus 2019 (COVID-19, por su sigla en inglés).

MAGNITUD Y EFECTO DEL SESGO DE PUBLICACIÓN

Las consecuencias del sesgo de publicación pueden ser muy graves, incluida la sobrestimación de los efectos de los tratamientos, la subestimación de los eventos adversos o el refuerzo de creencias en teorías inválidas (7). Se estima que aproximadamente 50% de los estudios realizados se mantienen ocultos (10). La influencia de la industria farmacéutica debe ser mencionada, ya que financia la mayoría de los estudios controlados aleatorizados (ECA) publicados. Diversas investigaciones observaron una mayor tendencia a que los ECA financiados con resultados negativos se mantengan sin publicar, en comparación con estudios independientes de la industria que encuentren resultados negativos (10). Una encuesta en facultades de medicina en Estados Unidos de América mostró que solo 1% de los investigadores tuvieron acceso a los datos completos del ECA, y solo 40% tenía control sobre la publicación (11). Así, los investigadores tienen poca o ninguna injerencia en el diseño de los ensayos y en el acceso a los datos crudos, y tienen una participación limitada en la interpretación de los datos.

HISTORIA RECIENTE DEL SESGO DE PUBLICACIÓN EN LA PANDEMIA POR VIRUS H1N1

El caso del oseltamivir en la pandemia del virus influenza H1N1 es un ejemplo del gran efecto negativo de este tipo de sesgo, que debemos tener presente ante la actual pandemia por COVID-19 (12). En el momento en que se tomó la decisión, 60% de los datos de ensayos sobre este fármaco seguían sin publicarse. La Colaboración Cochrane había concluido que oseltamivir reducía el riesgo de neumonía, con base en un análisis combinado, elaborado por el fabricante, de 10 ensayos financiados por la industria. Ocho de estos eran estudios no publicados. El equipo Cochrane solicitó a los autores de cada estudio los datos primarios para analizarlos, pero no logró obtenerlos, sino hasta muchos años más tarde, luego de expirada la patente (12). Aún sin contar con todos los resultados solicitados, se publicó la RS, en la que se informaba un beneficio clínico con el uso de oseltamivir. Este fue uno de los insumos considerados para que la Organización Mundial de la Salud (OMS) decidiera incorporar el oseltamivir en su listado de medicamentos esenciales, y a una compra en gran escala por muchos países del mundo. La mayoría de los ensayos de tratamiento de fase III del laboratorio seguían sin publicarse una década después de su finalización (13). Este sesgo tuvo un efecto muy importante en la salud pública, distrajo recursos limitados y generó expectativas en el personal de salud y en la población. En un nuevo MA publicado en 2013, se encontró que oseltamivir reduce en 20 horas promedio la duración de los síntomas y ninguna prueba de reducción del riesgo de neumonía, ingreso hospitalario ni complicaciones que requirieron la administración de un antibiótico. La nueva revisión Cochrane confirmó estos resultados y dio más información sobre efectos indeseados como náuseas, vómitos y problemas mentales (13).

La ausencia de la publicación de datos imposibilita la evaluación adecuada de desenlaces como la eficacia, los efectos adversos y la mortalidad, lo que puede generar que, en ocasiones, las decisiones basadas en la evidencia no sean las decisiones óptimas (14). Conocer las características del riesgo de sesgo de publicación y el efecto que tuvo en la historia reciente de pandemia por virus H1N1 puede ser de gran importancia ante la actual pandemia por COVID-19.

EL RIESGO DE SESGO DE PUBLICACIÓN EN EL CONTEXTO DE LA ACTUAL PANDEMIA

En el contexto de la pandemia por COVID-19, hay diversos factores que alertan sobre la potencial existencia de sesgos de publicación:

Ante la aparición de este virus y enfermedad nuevos, en solo un año y medio se han publicado cientos de miles de artículos científicos, de diversa calidad metodológica. Se ha incrementado la utilización de artículos aún sin publicar (preprints), que representan una forma acelerada de dar a conocer investigaciones científicas que aún no cuentan con revisión de pares (15). Si bien esto ha sido muy valioso para avanzar en la diseminación de información relevante, también tiene algunos riesgos potenciales (9,16).

Pese a la existencia de investigaciones impulsadas por los países, centros académicos y la OMS, como el caso del estudio Solidarity, dos tercios del financiamiento de los estudios clínicos para la COVID-19 provienen de la industria farmacéutica (17).

Intereses de mercado: una intervención para la COVID-19 contaría con una enorme cantidad de potenciales usuarios, por lo que la pandemia representa una oportunidad única para los fabricantes de tecnologías de la salud. Ante la mencionada demanda y las limitaciones para facilitar el acceso a todos los potenciales usuarios, los precios de venta de las tecnologías presentan enormes incrementos, variaciones y distorsiones (18).

Intereses geopolíticos: más allá del interés de los laboratorios, muchos países y bloques han mostrado comportamientos de defensa cerrada de las tecnologías producidas en sus países, con un efecto negativo en la investigación (19).

Los decisores se encuentran presionados por la urgencia, la escasez de recursos y la sociedad que exige resultados sanitarios.

UNA MIRADA CRÍTICA

Los antecedentes mencionados, sumados al contexto actual, deben llevarnos a tener una actitud crítica, de “sano escepticismo” (20) y una elevada sospecha de posible existencia de sesgo de publicación, especialmente ante nuevas indicaciones y tecnologías costosas protegidas por patentes.

VÍAS REGULATORIAS PARA EVITAR EL SESGO DE PUBLICACIÓN

Existen herramientas regulatorias para evitar este sesgo, como las iniciativas de la Organización Panamericana de la Salud (OPS) para otorgar un número de identificación a los ECA (21) y para llevar un registro del grado de avance de cada uno de los países (22), iniciativas de OPS sobre las políticas de investigación (23-25), Open Data, All Trials (26), publicaciones conjuntas de revistas científicas y otros registros de estudios de investigación desde la etapa de protocolo, como ClinicalTrials, que buscan transparentar los resultados del mundo académico y, de esta manera, reducir el riesgo de sesgo de publicación (10). AllTrials es una iniciativa internacional de la Colaboración Cochrane, el British Medical Journal y otras instituciones, bajo la consigna “Todos los ensayos registrados, todos los resultados informados” (26). En la Región de las Américas, las diferencias existentes en las regulaciones sobre la transparencia en la investigación entre los distintos países se reflejan en diferencias en los sistemas de gobernanza de los comités de ética de la investigación (22). En algunos países, como es el caso de Brasil, la interrupción de la investigación y la falta de publicación deben explicarse al organismo nacional que los regula; esto no ocurre en todos los países, ni está establecido con claridad un mecanismo punitivo para desalentar que las conductas antiéticas se repitan (23). Pese a que la OMS recomienda (27), y la legislación de Estados Unidos y Europa exigen la publicación de resultados en línea dentro del año de completado un estudio, se constatan reiterados incumplimientos y prácticamente no se han aplicado sanciones (28).

HERRAMIENTAS TÉCNICAS PARA REDUCIR EL RIESGO DE SESGO DE PUBLICACIÓN

En los MA, pueden aplicarse técnicas para reducir el riesgo de distorsiones por sesgo de publicación. Algunos de estos enfoques pertenecen a la búsqueda de estudios, mientras que otros son métodos estadísticos. Se recomienda a los autores de MA utilizar de forma sistemática una serie de técnicas para identificar ensayos no publicados: búsquedas en registros de ensayos, y contactos con investigadores y fabricantes (29).

El enfoque más confiable para la síntesis de evidencia en los MA es utilizar los datos de participantes individuales (30), pero esto no garantiza que estén libres de sesgos.

HERRAMIENTAS ESTADÍSTICAS PARA DETECTAR RIESGO DE SESGO DE PUBLICACIÓN

Interpretación de gráficos de embudo (funnel plot) y pruebas estadísticas

Existen varios métodos de efectos de estudios pequeños para evaluar y corregir el sesgo de publicación en los MA (31). Desde un punto de vista estadístico, estos poseen un alto error estándar (EE). Los métodos de efectos de estudios pequeños asumen que los estudios pequeños tienen más probabilidades de tener sesgo de publicación.

El modo habitual de inspeccionar los efectos de estudios pequeños es a través de los gráficos de embudo. Un gráfico de embudo es un gráfico de dispersión de los tamaños de efecto observados de los estudios en el eje X contra una medida de su ES en el eje Y. Por lo general, en los gráficos de embudo, el eje Y está invertido (lo que significa que los valores “más altos” en este eje representan EE más bajos). Cuando no hay sesgo de publicación, los puntos de datos en estos gráficos deben formar un embudo invertido aproximadamente simétrico, de allí su denominación (30). Los estudios en la parte superior del gráfico (aquellos con EE bajos) deben estar muy juntos y no muy lejos del tamaño del efecto agrupado. En la parte inferior del gráfico, con EE crecientes, el embudo “se abre” y se espera que los tamaños de los efectos se dispersen más hacia la izquierda y a la derecha del efecto agrupado.

El EE indica la precisión de un estudio: con el EE decreciente, se espera que el tamaño del efecto observado se convierta en un estimador cada vez mejor del tamaño del efecto real. Para facilitar la interpretación, la trama también incluye la forma de embudo idealizada que se espera que sigan los estudios. La línea vertical en el medio del embudo muestra el tamaño medio del efecto.

El gráfico con contornos permite una interpretación visual de la significancia estadística de los estudios. Estudios con grandes EE pueden caer en zonas de significancia estadística relevante, y viceversa.

El tamaño de la intersección de regresión brinda información sobre la asimetría en el gráfico de embudo. En cada modelo de regresión lineal, la intersección representa el valor de Y cuando todos los demás predictores son cero. El predictor en el modelo aquí presentado es la precisión de un estudio, por lo que la intersección muestra el puntaje esperado cuando la precisión es cero (es decir, cuando el error estándar de un estudio es infinitamente grande).

Cuando no hay sesgo de publicación, la puntuación debe estar esparcida alrededor de cero. Sin embargo, cuando el gráfico de embudo es asimétrico, por ejemplo, debido al sesgo de publicación, se espera que los estudios pequeños con tamaños de efecto muy altos estén considerablemente sobrerrepresentados en los datos, lo que lleva a un número sorprendentemente alto de estudios de baja precisión con valores mayores o iguales a 1,96; esto resultará en una intersección significativa.

Otra forma de calcular una estimación del tamaño del efecto ajustado es realizar un MA de límites de Rücker (31). Se tiene en cuenta el hecho de que los tamaños del efecto y los EE de los estudios no son independientes cuando hay efectos de estudios pequeños.

Métodos de estudio de riesgo de sesgo en tres intervenciones para COVID-19

Se realizó un análisis del riesgo de sesgo de publicación de tres intervenciones terapéuticas relacionadas con COVID-19 en las que exista un efecto beneficios: esteroides sistémicos, tocilizumab e ivermectina (esta última con baja certeza en los efectos de la intervención) (33). Se realizó una búsqueda de ECA que valorasen intervenciones incluidos en RS vivas. Los estudios incluidos y sus efectos corresponden a los que se encuentran incluidos en dichas revisiones hasta el día 1 de junio de 2021 (33,34). Para el análisis de estudios no publicados y ensayos en curso registrados, también se buscó en medRxiv, bioRxiv, arXiv, International Clinical Trials, plataforma de registro (http://apps.who.int/trialsearch), plataforma Epistemonikos COVID-19 LOVE (http://app.iloveevidence.com/loves/) y ClinicalTrails.gov (http://clinicaltrials.gov/).

Para cada intervención analizada se realizó un gráfico de embudo y análisis estadístico del riesgo de sesgo de publicación: asimetría en el gráfico de embudo de contornos resaltados, prueba de regresión lineal, prueba de Eggers y metaanálisis de límites de Rücker. Los cálculos y gráficos estadísticos se realizaron en el software R®.

RESULTADOS DEL ESTUDIO DE RIESGO DE SESGO EN TRES INTERVENCIONES PARA COVID-19

Esteroides sistémicos

En el caso de los esteroides sistémicos, en el gráfico de embudo (figura 1) se observa que los estudios se distribuyen alrededor de la estimación media del efecto de un modo simétrico, en forma de un embudo invertido. Esta simetría se percibe en forma más clara cuando se la observa en el gráfico de contornos (los límites en las estimaciones de efectos de la mayoría de los estudios se encuentran por debajo del área del embudo).

FIGURA 1.

Gráfico de embudo, de contornos y de límites del metaanálisis para esteroides sistémicos

En el cuadro 1 se muestran las pruebas estadísticas de regresión y de Eggers, y corroboran la simetría de la distribución de los efectos de los estudios observada en el gráfico de embudo. Como se observa en el cuadro 2, se encuentran registrados 200 ensayos clínicos relacionados con el uso de esteroides sistémicos, de los cuales 15 se encuentran publicados o prepublicados, mientras que 115 (57%) no ofrecen datos. La sospecha de sesgo de publicación es baja en el caso de los esteroides.

CUADRO 1.

Prueba de regresión lineal para detectar asimetría del gráfico de embudo y prueba de Eggers para esteroides sistémicos, tolcilizumab e ivermectina

Prueba estadística	Esteroides sistémicos	Tocilizumab	Ivermectina
Prueba de regresión lineal y prueba de Eggers	-0,3	2,61	-1,97
Valor de P	0,78	0, 04	0,08
Error estándar	0,47	0,38	0,72
Riesgo de sesgo	Bajo	No puede descartarse	No puede descartarse

elaboración propia.

CUADRO 2.

Ensayos clínicos aleatorizados registrados, publicados y sin datos disponibles sobre intervenciones farmacológicas durante la pandemia de COVID-19

Tipo de ensayo clínico	Esteroides	Tocilizumab	Ivermectina
Registrados	200	108	139
Prepublicados y publicados	15	10	11
Sin datos disponibles (%)	115 (57)	81 (75)	88 (63)

elaboración propia.

Ivermectina

El gráfico de embudo en la figura 2 muestra una distribución asimétrica de los efectos, con una agrupación de varios estudios pequeños y con menor precisión, ubicados en la base del embudo y en la zona de efecto beneficioso muy significativo (zona de riesgo relativo [RR] menor de 1). Los estudios más precisos, en este caso 3 (tres) con intervalos de confianza angostos, se ubican en la punta del gráfico y en el área de un RR mayor de 1.

FIGURA 2.

Gráfico de embudo, de contornos y de límites del metaanálisis para ivermectina

Las pruebas estadísticas para detectar asimetría muestran una intersección que se aleja significativamente del 0 (cuadro 1). La distribución asimétrica de las estimaciones de efecto que puede observarse en los gráficos de embudo se debe a los estudios pequeños de baja precisión, con amplios intervalos de confianza mostrando un efecto beneficioso, mientras que los estudios más precisos con límites angostos se ubican en el vértice de los gráficos. Las pruebas de regresión confirman la asimetría observada y hacen presumir que podría existir sesgo de publicación, en favor de estudios pequeños con resultados positivos con ivermectina y ausencia de estudios pequeños con resultados negativos. Se encuentran registrados 139 ensayos clínicos (cuadro 2), de los cuales 11 se encuentran publicados o prepublicados, mientras que 88 (63%) no ofrecen datos.

Tocilizumab

La mayoría de los estudios presentan una estimación central del efecto alrededor de la media de este, como se observa en la figura 3. Los límites de los estudios más imprecisos y con errores estándares mayores, se encuentran alrededor del no efecto (RR mayor a la media del efecto) con uno de los estudios en el área no significativa de la gráfica de contornos. Los estudios más imprecisos (mayor EE) y con límites más amplios (mayor dispersión del efecto) se encuentran en el área del gráfico con ausencia de beneficio (mayor riesgo relativo). En este caso, los estudios con mayor número de pacientes y más precisos (n = 2) se encuentran en el vértice del embudo, pero en el límite de la significancia estadística.

FIGURA 3.

Gráfico de embudo, de contornos y de límites del metaanálisis para tocilizumab

Las pruebas de regresión lineal para detectar la asimetría del embudo y la prueba de Eggers mostraron una intersección diferente de cero, lo que confirma la asimetría de la distribución de los estudios. Se encuentran registrados 108 ensayos clínicos (cuadro 2), de los cuales 10 se encuentran publicados o prepublicados, mientras que 81 (75%) no ofrecen datos. En el caso del tocilizumab, no puede descartarse el sesgo de publicación.

En el cuadro 1 se presenta una comparación del riesgo de sesgo de publicación con el método de Eggers entre las tres tecnologías seleccionadas. En el caso de los esteroides sistémicos, donde no existe sospecha de sesgo de publicación, la intersección de la prueba es menor a 1, incluso cercana al cero. Esto no ocurre con las otras dos intervenciones en las cuales se sospecha exista riesgo de sesgo de publicación, donde la intersección de la prueba se aleja sustancialmente del cero.

En el cuadro 2 se observa que, del total de los protocolos registrados, 6-8% fueron publicado o prepublicado, mientras que más de 60% de los estudios registrados no aporta datos luego de 6 meses de iniciado este registro.

DISCUSIÓN

El sesgo de publicación representa una amenaza a la validez de las RS y los MA y, por extensión, a la toma de decisiones basadas en evidencias (1,2). Su frecuencia es tan elevada que se estima que hasta la mitad de los ensayos controlados se mantienen sin publicar (10). Esto ha provocado daños a la salud y enormes costos de oportunidad asignando recursos limitados a intervenciones ineficaces, como se describió en el caso del oseltamivir durante la pandemia por el virus influenza H1N1 (12).

Las vías normativas y regulatorias serían las adecuadas para evitarlo, pero esto requiere una articulación y colaboración internacional para presentar una estrategia homogénea y estricta que pueda desincentivar el sesgo de publicación (25). Diversas iniciativas de la OMS y la OPS han logrado avances a nivel mundial y en la Región (23,24), y hacen sinergia con registros internacionales de ensayos clínicos e iniciativas como la de AllTrials (26). Sin embargo, se constatan reiterados incumplimientos a las recomendaciones de la OMS y a la legislación vigente, que no se acompañan de sanciones (27,28).

Hasta que se cumpla con la obligación del registro de todo ensayo clínico, y la publicación a tiempo de todos los resultados de los ensayos realizados, solo existen algunas técnicas disponibles que permiten sospechar y detectar riesgo de sesgo de publicación en las RS y los MA (29). Se describen las estrategias de búsqueda exhaustivas, el análisis a partir de los datos individuales de los participantes de cada estudio, y pruebas estadísticas como el de Eggers y gráfico de embudo. Muchos estudios han evaluado el rendimiento de diferentes enfoques, y encontraron que ningún método de análisis supera sistemáticamente a los demás (30). A menudo, es difícil identificar qué enfoque se adapta mejor a los datos recopilados, y se desconoce el grado exacto en que la publicación selectiva ha afectado los resultados. Sin embargo, al aplicar varias técnicas combinadas destinadas a detectar el sesgo, se puede producir algo similar a una variedad de efectos verdaderos creíbles (29).

Los ejemplos provistos permiten observar cómo el MA sobre el tratamiento de la COVID-19 con corticoides sistémicos no parece sugerir la existencia de sesgo de publicación. Por otro lado, los ejemplos del análisis estadístico de los MA de ivermectina y tocilizumab hacen sospechar distintos tipos de sesgo de publicación.

La sospecha de sesgo de publicación debe orientar a un “sano escepticismo” al momento de interpretar las evidencias publicadas. Esto adquiere especial importancia para la toma de decisiones en el ámbito de la salud ante la actual situación de pandemia.

Declaración.

Las opiniones expresadas en este manuscrito son responsabilidad del autor y no reflejan necesariamente los criterios ni la política de la RPSP/PAJPH y/o de la OPS.