Ir al contenido principal

REMI 1930E. Meta-analysis with erroneous conclusions: size matters


Artículo original: Random error in cardiovascular meta-analyses: how common are false positive and false negative results? AlBalawi Z, McAlister FA, Thorlund K, Wong M, Wetterslev J. Int J Cardiol 2013; 168(2): 1102-1107. [Summary] [Related articles]
    
Introduction: Meta-analysis is a set of statistical tools to provide a quantitative synthesis of the evidence, obtained from an exhaustive and explicit search ("systematic review"). It is recognised that a meta-analysis can not be insightful if evidence is scarce or poor-quality, so its results should not be interpreted in a mechanistic way. Bias in the primary studies can cause systematic errors, so risk of bias must be thoroughly and carefully evaluated. However, an aspect hitherto little considered in meta-analysis methodology is the likelihood to commit random error (type I error, to find statistically significant results by chance, and type II error, not finding significant results by chance) [1-3]. This risk is greater when the number of studies, patients and/or events is scarce or when data are subjected to repeated statistical testing, but the magnitude and implications of this problem are not well understood.
    
Summary: The authors evaluated all the reviews published by the cardiology group of the Cochrane Collaboration in 2012 including one or more meta-analysis of at least 5 randomized clinical trials. Meta-analyses were classified as true positives if their pooled sample size and/or their cumulative Z-curve crossed the O'Brien-Fleming monitoring boundaries for detecting a relative risk reduction (RRR) of at least 25%, and true negatives if their pooled sample size was sufficient to reject a RRR of 25%. Meta-analysis evaluated were 56, 23 with positive results, and 33 with negative results. 17% were considered potentially false positive and 64% potentially false negative results. Overall, 45% of the meta-analysis contained insufficient information to conclusively rule out a different effect of found. In most cases, the authors of the meta-analysis did not recognize this limitation of their results.
      
Comment: The study shows the risk of reaching premature conclusions with meta-analysis, and how even meta-analysis from an organization as rigorous as the Cochrane Collaboration fail to take into account in many cases the degree of uncertainty in the interpretation of their results. A clear example is that of hypothermia in cardiac arrest, whose effectiveness was considered proven prematurely [4-5]. For a correct interpretation of meta-analysis results is necessary to incorporate techniques to quantify the risk of random error.
   
Eduardo Palencia Herrejón
Hospital Universitario Infanta Leonor, Madrid.
© REMI, http://medicina-intensiva.com. January 2014.
       
Links:
  1. Trial sequential analysis reveals insufficient information size and potentially false positive results in many meta-analyses. Brok J, Thorlund K, Gluud C, Wetterslev J. J Clin Epidemiol 2008; 61: 763-769. [PubMed]
  2. Updating meta-analyses leads to larger type I errors than publication bias. Borm GF, Donders AR. J Clin Epidemiol 2009; 62: 825-830. [PubMed]
  3. Trial sequential analysis may establish when firm evidence is reached in cumulative meta-analysis. Wetterslev J, Thorlund K, Brok J, Gluud C. J Clin Epidemiol 2008; 61: 64-75. [PubMed]
  4. Hypothermia for neuroprotection in adults after cardiopulmonary resuscitation. Arrich J, Holzer M, Havel C, Mullner M, Herkner H. Cochrane Database Syst Rev 2012: CD004128. [PubMed]
  5. Hypothermia after cardiac arrest should be further evaluated--a systematic review of randomised trials with meta-analysis and trial sequential analysis. Nielsen N, Friberg H, Gluud C, Herlitz J, Wetterslev J. Int J Cardiol 2011; 151: 333-341. [PubMed]
  PubMed Search:
  • Enunciado: Relevance of information size on error risk in meta-analysis
  • Sintaxis: "information size" AND "meta-analysis as topic"[mh]
  • [Results]
               

Comentarios

Entradas populares de este blog

REMI 2144. La inutilidad de la presión venosa central para valorar la necesidad de fluidos, en cifras

ARTÍCULO ORIGINAL: Systematic review including re-analyses of 1148 individual data sets of central venous pressure as a predictor of fluid responsiveness. Eskesen TG, Wetterslev M, Perner A. Intensive Care Med 2016; 42(3): 324-332. [Resumen] [Artículos relacionados] INTRODUCCIÓN: El tratamiento de los distintos tipos de shock se basa en una combinación de fluidos, vasopresores e inotropos. En todos los casos, para maximizar el gasto cardiaco es necesario tener una precarga suficiente, pero el exceso de volumen se asocia a resultados adversos. Se ha comprobado que el 50% de los pacientes críticos no responden a la infusión rápida de líquidos con un aumento del gasto cardiaco; disponer de un parámetro capaz de predecir la respuesta a volumen es por tanto una guía fundamental para el tratamiento de los pacientes con compromiso hemodinámico [1]. A pesar de que los estudios previos han mostrado que la presión venosa central (PVC) no sirve para predecir la respuesta a volumen [2], este par…

REMI 2199. Influencia de la intubación traqueal en la supervivencia de la parada cardiaca hospitalaria en adultos

ARTÍCULO ORIGINAL: Association between tracheal intubation during adult in-hospital cardiac arrest and survival. Andersen LW, Granfeldt A, Callaway CW, Bradley SM, Soar J, Nolan JP, Kurth T, Donnino MW. for the American Heart Association's Get with Guidelines-Resuscitation investigators. JAMA 2017; 317: 494-506. [Resumen] [Artículos relacionados] INTRODUCCIÓN: La intubación traqueal durante la resucitación de la parada cardiaca, según las recomendaciones internacionales [1], es un procedimiento que no se debe realizar inicialmente y solamente por profesionales expertos, dando prioridad a compresiones torácicas ininterrumpidas. Al igual de otras intervenciones, como la administración de adrenalina, no se dispone de ensayos clínicos que demuestren sus efectos, aunque existe cierta evidencia contra su empleo [2]. RESUMEN: Análisis retrospectivo sobre el registro prospectivo multicéntrico de paradas cardiacas hospitalarias “Get with Guidelines-Resuscitation registry” (2000-2014). El …

A152. Neumonía asociada a cuidados sanitarios (NACS)

1. Concepto
Se denomina “neumonía asociada a cuidados sanitarios” (NACS) a la ocurrida en pacientes que han estado en contacto reciente con la asistencia sanitaria, pero que no se encuentran (o llevan menos de 48 horas) hospitalizados. La NACS representa un elevado porcentaje de las neumonías extrahospitalarias que requieren ingreso hospitalario, y no deben confundirse con neumonías comunitarias; en una reciente revisión sistemática, la NACS supuso entre el 17 y el 67% de todas las neumonías extrahospitalarias, con una media del 36% [1]. Esta cifra coincide con la de un estudio reciente realizado en 72 servicios de Medicina Interna de 66 hospitales españoles, en el que el 34% de las neumonías extrahospitalarias que habían requerido ingreso eran asociadas a cuidados de la salud [2].

El contacto con el sistema sanitario aumenta la probabilidad de que la infección pueda estar causada además de por los microorganismos habituales de la neumonía adquirida en la comunidad (NAC), por otros …