Sesión 3: Validación de Métodos Cualitativos
14 de setiembre 2021
IELC del Perú
IELC del PERU
Sesión 3
IELC del Perú
IELC del PERU
IELC del Perú
IELC del PERU
¿Cuál es un Plan práctico de validación y/o verificación?
Definiciones
IELC del Perú
IELC del PERU
Tipos de pruebas
Tipos de pruebas
https://apps.who.int/iris/handle/10665/331715
Nat Rev Microbology 2010 dec
Que debemos considerar
¿Que hace un buen test?
FDA
90% sensibilidad 95% especificidad
Soldevila Langa L et al. Interpretación de las pruebas diagnósticas de la COVID-19
¿Que hace un buen test?
FDA
90% sensibilidad 95% especificidad
Serology "Shortlist" for EUA SARS-COV-2 Testing
FDA
80% sensibilidad
95% especificidad
FDA
80% sensibilidad
95% especificidad
Seleccionar los parámetros de desempeño
IELC del Perú
IELC del PERU
Características de desempeño | Cualitativo ICR | Cualitativo binario +- | Cualitativo PCR +- |
Sensibilidad analítica | LoD | LoD o Cutoff intervalos C5 – C95 | C95 como LoD |
Precisión | Replicación | ||
Rango Reportable | Cutoff intervalo c5 c95 | ||
Rango de referencia | |||
Veracidad BIAS | Estudios de acuerdo clínico | Estudios de acuerdo clínico | Estudios de acuerdo clínico |
Concordancia | |||
Error total | |||
Especificidad analítica | Reactividad cruzada Interferencias | Reactividad cruzada | Reactividad cruzada |
IELC del Perú
IELC del PERU
IELC del Perú
IELC del PERU
Continuamos con el plan
Periodo de familiarización
• Establecer el procedimiento de trabajo
• Verificación del rango reportable
• Verificar el límite de detección
Experimentos de verificación
•Realizar estudios de precisión
•Realizar estudios de exactitud
• Documentar los estudios.
Implementación
• Seleccionar los procedimientos de Control Estadístico Interno de la Calidad
• Escribir los protocolos o procedimientos de operación
• Entrenar a los analistas
• Introducir el método en el servicio
• Monitorear el desempeño de rutina
Continuamos con el plan
¿Como se valida un método cualitativo?
Para métodos cualitativos
se deben verificar los siguientes parámetros de desempeño: precisión en condiciones de reproducibilidad y repetibilidad para muestras por encima y por debajo del valor de corte (positivas y negativas); grado de acuerdo para los resultados de los pacientes (sensibilidad y especificidad diagnóstica); arrastre, cuando sea aplicable; interferencias y problemas de especificidad.
Estudios de Precisión
Estudios de Precisión
Estudios de Precisión
Para la prueba con resultados binarios, se determina la proporción positiva de las mediciones replicadas en las concentraciones de C5, C50 y C95 para caracterizar la distribución de la probabilidad.
Experimento 1. tasas de acierto
Experimento 1. tasas de acierto
| | RESULTADO ANALISIS DE REPLICAS | | | |||||||||||||||||||
MUESTRAS | VALOR | R1 | R2 | R3 | R4 | R5 | R6 | R7 | R8 | R9 | R10 | R11 | R12 | R13 | R14 | R15 | R16 | R17 | R18 | R19 | R20 | NUMERO MINIMO POSITIVOS | NUMERO MAXIMO POSITIVOS |
C5 -20% | 800 copies/mL |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 0 | 3 |
C50 | 1000 copies/mL |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 6 | 14 |
C50 20% | 1200 copies/mL |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 17 | 20 |
Estudios de Exactitud como Concordancia con la Clasificación Clínica
Experimento 2. Estudio de Concordancia Clínica
IELC del Perú
IELC del PERU
Experimento 2. Estudio de Concordancia Clínica
IELC del Perú
IELC del PERU
Herramientas
Calculadora de contingencia Westgard QC 2x2
IELC del Perú
IELC del PERU
Caso practico
IELC del Perú
IELC del PERU
Caso practico
IELC del Perú
IELC del PERU
Revisemos
Si bien hemos calculado POA como 94.6% con un intervalo de confianza aproximado de 92.3% y 96.2%, esta característica no es tan útil y no es necesario considerarla al juzgar la aceptabilidad.
IELC del Perú
IELC del PERU
¿Cómo se pueden evaluar las afirmaciones en escala sigma?
Estrategia de mejora
Resolver problemas, reducir defectos, eliminar procedimientos inútiles, elevar el rendimiento y satisfacer las necesidades del cliente.
Cuantificación de defectos por millón de oportunidades (DPM o DPMO) permite evaluar de forma objetiva el rendimiento del laboratorio
IELC del Perú
IELC del PERU
Seis Sigma como herramienta estadística
El nivel Sigma presenta una correlación estadística con el número de errores o defectos por millón de oportunidades (DPM o DPMO)
Nivel de Sigma | Defectos por Millón de Oportunidades |
6 sigma 5 sigma 4 sigma 3 sigma 2 sigma | 3.4 DPMO 233 DPMO 6210 DPMO 66807 DPMO 308537 DPMO |
IELC del Perú
IELC del PERU
Seis Sigma como herramienta estadística
IELC del Perú
IELC del PERU
Seis Sigma como herramienta estadística
Ejemplo. Indicadores de desempeño Nevalainen et al. 2000
IELC del Perú
IELC del PERU
Seis Sigma como herramienta estadística
0,38 errores
100
1000.000
x
3800 DPM
Numero de muestras no procesadas 0,38%
4,2 sigma
Herramientas
Calculadora de DPM
IELC del Perú
IELC del PERU
SIX SIGMA RISK MANAGEMENT IN AN AUTOMATED MOLECULAR BIOLOGY LABORATORY
IELC del Perú
IELC del PERU
Fuentes mas frecuentes de riesgo
RT-PCR | Prueba de Antígeno | IgM- IgG |
• Falsos negativos (<5-40%): – Muestra insuficiente. – Poca carga viral según el estadio (asintomático, presintomático o postsintomático). – Trasporte inadecuado o con retraso (interrupción cadena de frío). – Error en etiquetaje • Falsos positivos (infrecuentes): – Contaminaciones cruzadas entre muestras. – Error en etiquetaje. | • Falsos negativos (<5-40%): – Muestra insuficiente. – Poca carga viral según el estadio (asintomático, presintomático o postsintomático). – Trasporte inadecuado o con retraso (interrupción cadena de frío). – Error en etiquetaje • Falsos positivos (infrecuentes): – Contaminaciones cruzadas entre muestras. – Error en etiquetaje. | • Falsos negativos: – Muestra inadecuada o insuficiente. – Fallos en los kits. – Poca carga viral en estadios iniciales. • Falsos positivos: – Reactividad cruzada con otros virus respiratorios. |
Soldevila Langa L et al. Interpretación de las pruebas diagnósticas de la COVID-19
Preguntas
IELC del Perú
IELC del PERU
Gracias
Monica Gisell Diaz Artunduaga. Bacteriologa, Erasmus Msc. Quality In Analytical Laboratories de la Universidad Politécnica Gdansk y Universidad de Barcelona. Y Master En Gestión De La Calidad Y Excelencia De Las Organizaciones en la Universidad Camilo José Cela en Madrid España. Sigma-Metric Quality Manager, Coaching Agile y Six Sigma Green Belt. Miembro titular de la Red Colombiana de Mueres Científicas. Actualmente trabaja con el Ministerio de Ciencia Tecnología e Innovación en Colombia.
IELC del Perú
IELC del PERU