Muestreo y trazabilidad de evidencias

Criterio, evidencia y hallazgo

El criterio indica qué debe cumplirse. La evidencia reúne información pertinente y verificable para contrastarlo. El hallazgo resulta de evaluar esa evidencia frente al criterio. Si se mezclan, una opinión puede aparecer como hecho y un documento puede utilizarse para demostrar algo que no contiene.

EX-02 acredita qué fórmula y porcentaje declara la copia SEN-EX. Para saber si son correctos necesitas EX-01 y M11-EX-CRIT-01. EX-03 acredita un estado y unos campos; EX-04 confirma que no ocurrieron las actuaciones requeridas. La fuerza de la conclusión procede de esa relación concreta. No se incrementa acumulando archivos que no responden a la pregunta.

Elegir una muestra que responda al objetivo

Define población, unidad y periodo antes de seleccionar. Una conversación, una respuesta, una incidencia y un cierre representan unidades diferentes. Para un riesgo de omisión crítica interesa incluir falsos negativos y casos límite; para un flujo de cierre, casos aprobados, abiertos y excepciones autorizadas.

El muestreo dirigido por riesgo ayuda a buscar situaciones importantes, pero no produce automáticamente una estimación representativa de toda la población. Si deseas inferencia estadística necesitas un diseño que la sostenga. Explica qué seleccionaste, qué quedó fuera y por qué. En M11-EX revisamos los diez críticos sintéticos completos del subconjunto; no extrapolamos a producción.

Una cédula de evidencia que otra persona entienda

Registra identificador de evidencia, fuente, sistema o uso, versión, fecha o periodo, localizador, custodio y criterio relacionado. Añade método aplicado y resultado. Distingue lo recibido de lo contrastado y conserva las limitaciones. AUD-002 puede servir como índice sin almacenar dentro todos los originales.

«Ver Excel» no es un localizador suficiente. «EX-02 / MON-001-M11-EX / SEN-EX / fórmula 9/9*100» sí orienta la comprobación. En una fuente viva registra corte y versión; si cambia después, no sustituyas silenciosamente la evidencia examinada. Conserva la copia autorizada o una referencia estable con el procedimiento de integridad que corresponda.

Contrastar por métodos complementarios

Los documentos describen lo previsto; los registros muestran actuaciones; las entrevistas explican contexto y permiten localizar evidencia; la observación permite ver un flujo; el recálculo comprueba una transformación de datos. La combinación se elige por la pregunta y el riesgo, no por una cuota de métodos.

Una entrevista que afirma atención humana se contrasta con el registro de recepción y primera actuación. Un botón de cierre se prueba con estados y permisos cuando el alcance lo exige. Un recálculo puede detectar una fórmula errónea, pero no demuestra la causa organizativa del error. Registra el método efectivamente usado y no sustituyas un resultado ausente por la explicación de cómo debería funcionar.

Recalcular SEN-EX paso a paso

EX-01 contiene E01–E10, todos con referencia crítica, de la prueba de v1. E01–E09 se detectan como críticos y E10 no. El numerador son nueve detectados; el denominador son diez críticos de referencia. El cálculo es 9/10 × 100 = 90 %. El falso negativo sigue perteneciendo al conjunto que el indicador evalúa.

EX-02 declara 9/9 × 100 = 100 % y explica que E10 se excluye porque no se detectó. La exclusión cambia la pregunta: termina contando solo los detectados entre los detectados. No es una mejora del comportamiento. Conserva tabla, regla, fórmula y resultado para que otra persona pueda repetir el recálculo sin confiar en el color del panel.

Separar métricas y condiciones de prueba

El acierto global y la sensibilidad crítica utilizan poblaciones distintas. v1 conserva 90/100 de acierto y 9/10 de críticos; v2 conserva 94/100 y 7/10. El incremento global no compensa por sí mismo la pérdida en críticos. Tampoco esos datos permiten calcular precisión crítica si no conocemos todos los predichos críticos y sus falsos positivos.

Los resultados proceden de prueba sintética. v2 fue probada, sin aprobación de despliegue y sin estar en producción. El auditor comprueba qué decisión se tomó y con qué evidencia; no inventa un despliegue para dramatizar el hallazgo. Si una conclusión requiere un umbral, recupera el criterio previo y su autoridad en lugar de fijarlo después.

Pedir evidencia de derivación del chatbot

Para USO-003 define la afirmación: ¿la solicitud llegó a una persona y fue atendida en las condiciones previstas? Pide el identificador minimizado, marcas de envío y recepción, primera actuación humana, criterio temporal y relación con SUP-001. Un registro de envío a cola no acredita por sí solo atención efectiva.

El paquete M11-EX no aporta una ejecución de esa derivación. Registra solicitud, fuente prevista, responsable y fecha de revisión propuesta. La conclusión permanece limitada. La falta de una fuente en un ejercicio de clase no demuestra que el servicio real nunca atienda derivaciones; en una auditoría real contrastarías disponibilidad, obligación de conservar y búsqueda efectuada.

Evaluar proveedores y servicios externos

Un contrato aporta compromisos; una certificación del proveedor acredita lo que declara su alcance; un informe de pruebas aporta resultados en unas condiciones. Ninguna de estas fuentes sustituye automáticamente la evidencia de la integración propia. Identifica modalidad, versión, periodo y límites antes de usarlas.

EX-05 mantiene pendiente confirmar retención. M11-EX-CRIT-03 permite esa evaluación abierta si existen responsable, revisión y límites. El hecho aportado indica que no se contrató ni se cargaron datos corporativos. Para contrastarlo en un entorno real podrían ser pertinentes compras, cuentas e integraciones, con acceso proporcionado. El pendiente necesita seguimiento, pero no inventar una contratación ni un borrado fallido.

Proteger integridad, confidencialidad y retención

La evidencia necesita custodia durante el trabajo y después. Utiliza el repositorio autorizado, permisos adecuados, versiones y protección de originales. Minimiza datos personales, secretos y credenciales. Un hash puede ayudar a detectar cambios de una copia; no demuestra por sí mismo que el contenido sea verdadero o que la extracción sea completa.

Define conservación según finalidad y requisitos del registro. No fijes seis meses para todos los logs por repetir una cifra descontextualizada. Documenta quién accede, qué copia se conserva y cómo se devuelve o elimina lo demás. El índice de auditoría debe permitir localizar evidencia pertinente sin convertirse en una colección innecesaria de conversaciones o datos sensibles.

Utilizar IA como apoyo con límites

Una herramienta autorizada puede ayudar a ordenar preguntas o comparar textos, pero el auditor verifica las fuentes y conserva responsabilidad. Antes de cargar información comprueba autorización, datos permitidos, retención y condiciones del servicio. Un resumen convincente puede omitir una excepción o mezclar versiones.

Si utilizas apoyo automático, registra la función que cumplió y revisa sus afirmaciones contra los originales. No presentes su respuesta como evidencia de que ocurrió una actuación. Para SEN-EX la prueba sigue siendo la relación entre E01–E10 y la fórmula; para el cierre siguen siendo EX-03/04. El apoyo ahorra tareas cuando sus resultados se contrastan, no cuando oculta la cadena de evidencia.

Diseñar muestras para una población de producción

Primero decide qué conclusión necesitas. El muestreo dirigido puede servir para examinar decisiones críticas, cambios o excepciones. Si quieres estimar una tasa de error de una población y expresar su incertidumbre, necesitas un diseño estadístico que permita esa inferencia. Automatizar la selección facilita trabajar con volumen; no hace que la muestra sea estadísticamente representativa. Es posible combinar una selección dirigida con otra probabilística, identificando qué pregunta responde cada una.

Delimita población, periodo, unidad y versión. Una inferencia, un intento de API y un ticket resuelto no representan necesariamente la misma unidad. Los reintentos o varias respuestas al mismo usuario pueden estar relacionados. Conserva inclusiones, exclusiones y registros ausentes. Para medir sensibilidad necesitas localizar los críticos según una referencia independiente de la salida; seleccionar solo los predichos como críticos vuelve a ocultar falsos negativos, como enseña H-01.

Ejemplo adicional, independiente de M11-EX: un servicio ficticio registra 40.000 tickets de un mes y se quiere estimar su tasa de clasificación incorrecta. Elegir los primeros cien del lunes permite examinar esos cien, pero puede excluir turnos, tipos de solicitud o versiones. Un diseño aleatorio o estratificado debe justificar marco de selección, tamaño y tratamiento de cada grupo. Si se seleccionan más críticos a propósito, no se mezclan después sus resultados con el resto como si todos hubieran tenido la misma probabilidad de selección. La estimación agregada necesita el tratamiento y, cuando corresponda, las ponderaciones del diseño.

Para una estimación estadística, el tamaño se justifica por el parámetro, la variabilidad, la precisión deseada, el nivel de confianza y los supuestos pertinentes; no por un porcentaje universal del volumen. Si faltan estos conocimientos, incorpora apoyo estadístico. Fuente: NIST sobre selección del tamaño de muestra (nueva pestaña). Una muestra insuficiente se informa como limitación o incertidumbre, sin convertir ausencia de fallos observados en ausencia demostrada de riesgo.

Automatizar la extracción y conservar su reproducibilidad

Documenta la consulta o el script, sus parámetros, la versión de la fuente, el corte temporal y el método de selección. Si hay aleatoriedad, conserva la semilla y las condiciones necesarias para repetir la selección. Antes de analizar, reconcilia el número de registros con el origen autorizado y comprueba duplicados, huecos de registro y filtros. Seleccionar cada centésimo evento puede coincidir con un patrón periódico del proceso; esa posibilidad forma parte de la justificación del método.

El informe de evaluación técnica conservará también conjunto de pruebas y referencia, configuración, versión de herramienta y del sistema, entorno, repeticiones relevantes, resultados y límites. En IA generativa, repetir el mismo texto de entrada puede producir salidas distintas; registrar esas condiciones es necesario para interpretar la prueba, sin prometer una reproducción exacta que la API no garantiza. Si el proveedor no permite acceso interno al modelo, delimita qué puede observarse mediante la interfaz autorizada y qué información adicional debe solicitarse.

Para examinar diferencias entre grupos o contextos, justifica segmentos, suficiencia de datos y pertinencia de la comparación. Una diferencia de tasas exige análisis del contexto; no prueba por sí sola discriminación ilegal ni explica su causa. Protege los datos necesarios para esa evaluación y evita crear un conjunto sensible sin finalidad, permisos y medidas adecuados. Las herramientas de prueba apoyan el contraste; el informe debe explicar qué se comprobó y qué sigue sin poder concluirse.

Actividad de la lección

Prepara una cédula del recálculo con regla, fuente, población, numerador, denominador, fórmula, resultado y E10. Describe qué demuestra y qué no. Añade una solicitud de evidencia de derivación del chatbot y un registro de contraste de EX-05, distinguiendo fuente aportada y comprobación futura.

Indica motivo de selección, momento del contraste, responsable de custodia, repositorio y protección. Al revisar tu respuesta, comprueba que los tres asuntos tienen estados diferentes: recálculo realizado, derivación por comprobar y evaluación del proveedor abierta dentro de los límites de la escena.

Revisa tu respuesta

Completa primero la actividad. Después compara tu razonamiento con la respuesta desarrollada y revisa qué queda por comprobar.

Comprueba lo aprendido