Uno de los pasos importantes en la elaboración de una revisión sistemática es evaluar la calidad de los estudios que quedan tras la búsqueda exhaustiva y aplicar los criterios explícitos y  preestablecidos de selección. Esta fase también llamada de evaluación de la validez y calidad de los estudios consiste en la valoración (por al menos dos autores y de forma independiente) de los estudios seleccionados de acuerdo a unos criterios, escalas, o lista de comprobación. Los ítems de estas escalas están relacionadas con aspectos básicos que debe contener el estudio y varían según el diseño de este. Un ejemplo, clásico ya, es la escala de Jadad para ensayos clínicos (ECA) que puntúa aspectos esenciales de estos, como la asignación enmascarada o el seguimiento.

Esta evaluación de la calidad metodológica es importante por razones tales como la decisión de incluir, o no, estudios determinados o como la ponderación o “peso” que se da a cada estudio en la estimación global de efecto. Esta se podría realizar de acuerdo a sus propiedades metodológicas, de tal manera que los estudios con más puntuación en estas escalas tuvieran más “peso”. Igualmente se puede hacer análisis de sensibilidad añadiendo o excluyendo los estudios de acuerdo a esta baremación y sobre todo saber que cuanto peor sea la calidad de los estudios, más débiles serán las conclusiones de la revisión sistemática derivada de ellos, el famoso GIGO (garbage in /garbage out).

Sin embargo en los últimos años se ha iniciado una controversia sobre cuál es la mejor forma de reflejar la calidad metodológica de los estudios. Frente a las clásicas escalas. o modificaciones de estas que contemplan la valoración de elementos metodológicos individuales, la Colaboración Cochrane aboga, y así lo hace desde hace unos años, por evitar hablar del término calidad y prefiere que se considere este paso de la revisión, como evaluación del riesgo de sesgo en los estudios incluidos.

La herramienta recomendada por la Colaboración para evaluar el riesgo de sesgo no es una escala, ni una lista de verificación, es una valoración basada en diferentes dominios. En el caso de los ensayos clínicos aleatorizados estos dominios son: generación de la secuencia, ocultación de la asignación, cegamiento, datos de resultado incompletos, notificación selectiva de los resultados y otros. Cada dominio se representa, con un ítem específico, en una tabla donde se da la descripción de lo que sucedió en el estudio y la asignación de una valoración con relación al riesgo de sesgo para ese ítem, con tres posibles valores: Bajo riesgo de sesgo, ‘Alto riesgo’ de sesgo o ‘Riesgo poco claro’ de sesgo.

Esta información se presenta en la revisiones Cochrane dentro de la sección de la revisión titulada Características de los estudios incluidos, como una tabla de Riesgo de sesgo, y dos figuras: un gráfico (arriba) del riesgo de sesgo que ilustra la proporción de estudios con cada una de sus evaluaciones (Bajo, Alto y Riesgo poco claro) y una figura Resumen del riesgo de sesgo que presenta todas las evaluaciones en una tabulación de entrada cruzada por dominio y estudio.

actualización  presentación en video 2017