Lección 5 · Cobertura y métricas: qué puede concluirse

1. Cobertura antes de eficacia

La cobertura pregunta qué contenido y comprobaciones llegaron a evaluarse. La eficacia pregunta cómo se comportó el control frente a casos cuyo resultado esperado conocemos. Son dimensiones relacionadas, pero diferentes. Un excelente comportamiento sobre un fragmento no compensa que otras rutas relevantes no se hayan inspeccionado.

La arquitectura admite extensiones de preprocesamiento que pueden alterar la cantidad de entradas. Los resultados corresponden a las entradas finales. Cardinalidad de entradas y resultados Por ello no siempre basta comparar cuántos archivos había con cuántos veredictos se obtuvieron: hay que reconstruir el recorrido.

2. El resultado favorable vacío

ScanResult calcula is_safe comprobando que todas sus entradas sean favorables. Una lista vacía también devuelve True. Cálculo del resumen La documentación explica que un cargador configurado puede devolver cero entradas y entonces no se llama a la puerta. Resultado vacío sin evaluación

Esto enseña una precaución práctica: registrar resultado favorable y registrar evaluación realizada son cosas distintas. Si se esperaba contenido y no aparece ninguna entrada, el proceso debe reconocer esa diferencia conforme a una regla organizativa.

Para investigar, pediremos población esperada, entradas cargadas, entradas finales, escáneres aplicables y ejecutados, omisiones, cortes y errores. Las medidas deben indicar qué cuentan y cómo evitan duplicar contenido derivado.

3. Un conjunto de referencia útil

Para evaluar eficacia necesitamos ejemplos etiquetados con un criterio conocido. Deben reflejar amenazas y usos legítimos pertinentes, con idiomas, longitudes y formatos representativos. Incluir usos benignos de palabras sospechosas permite estudiar falsos bloqueos.

Un escáner de prompt injection trabaja con patrones; la alternativa de clasificación es otro componente opcional. Patrones y contexto de detección MaliciousUrlScanner utiliza heurísticas locales sobre enlaces. Naturaleza heurística de la señal Estas capacidades orientan casos de prueba; no prueban detección exhaustiva ni reputación actualizada de todo dominio.

La clasificación de referencia debe justificar qué se considera prohibido. Si dos revisores discrepan sobre un ejemplo, conviene resolver el criterio antes de usarlo como medida del detector.

4. Ejercicio resuelto con datos sintéticos

Supuesto docente, sin ejecución de CerbIA. Hay 20 entradas prohibidas y 40 legítimas. Se bloquean 16 prohibidas y 3 legítimas; se permiten 4 prohibidas y 37 legítimas.

Solución. Detección: 16/20 = 80 %. Falsos bloqueos: 3/40 = 7,5 %. Exactitud: (16 + 37)/60 = 53/60 = 88,3 %. Precisión de los bloqueos: 16/19 = 84,2 %.

Las cuatro prohibidas permitidas son escapes respecto al criterio del ejercicio. Las tres legítimas bloqueadas representan una carga o un perjuicio potencial para usuarios. La exactitud resume ambas clases, mientras que la precisión responde qué proporción de lo bloqueado era prohibido. Sus denominadores no se intercambian.

5. Lo que esas cifras no prueban

El titular «88,3 % de precisión y seguridad garantizada» sería incorrecto. El 88,3 % es exactitud; además, una muestra sintética no acredita comportamiento real ni cumplimiento. Tampoco permite predecir qué ocurrirá si elevamos el umbral.

Antes de comparar configuraciones debemos mantener criterios y condiciones comparables, documentar cambios y separar segmentos relevantes. Si las entradas prohibidas son escasas en uso real, cambia la interpretación operacional de la cola de bloqueos.

También hay que presentar omisiones y errores junto a los aciertos. Si solo calculamos eficacia sobre lo que pudo completarse, debemos declarar ese denominador y mostrar aparte lo que quedó sin evaluar.

6. Aplicación de ISO/IEC 42001

Relacionamos 9.1 con seguimiento y evaluación, y 8.2 y 8.3 con revisar si el tratamiento sigue siendo adecuado. En A.5 consideramos los impactos de escapes y bloqueos; A.6 ayuda a situar la evaluación en el ciclo de vida.

Estas propuestas conectan medición con decisiones; no convierten un porcentaje aislado en certificado.

7. Decisión que permite el informe

La organización decide si la cobertura y eficacia observadas son suficientes para un uso definido. Identifica limitaciones, escapes relevantes y medidas complementarias. Si faltan datos, limita la conclusión y planifica su obtención. El informe conserva los denominadores y distingue el ejercicio didáctico de cualquier evaluación futura de una instalación real.