Seguimiento, medición e incidentes

Qué aprenderás

Definirás un plan de seguimiento proporcionado a cada uso. Construirás indicadores con numerador, denominador, fuente, periodo y criterio previo. Practicarás la lectura de un cuadro de mando, la valoración de alertas y la respuesta a un incidente. Al terminar podrás explicar qué está comprobado, qué decisión se propone y qué falta verificar.

El trabajo final reúne MON-001, con cuatro indicadores justificados, e INC-001, con el registro de un incidente simulado. Los códigos son internos del curso. Completar las plantillas permite preparar evidencia, pero la evidencia de implantación requiere actuaciones y resultados comprobables.

El caso que seguimos

Trabajamos con Tech Server IIT Spain, organización ficticia. Conservamos USO-003 para el chatbot y SYS-003 / USO-004, R-001 e IMP-001 para el clasificador. El copiloto toma su identificador del inventario. Se mantienen las relaciones con FD-001, SUP-001, PROV-001, CAM-001 y RET-001.

La prueba del módulo 9 se conserva: 100 incidencias sintéticas, 10 críticas. v1 obtiene 90 aciertos globales y detecta 9 críticas; v2 obtiene 94 aciertos globales y detecta 7. v2 fue probada y no aprobada para desplegarse. Estos datos no son una serie de producción ni prueban un cambio del proveedor.

Cómo seguir el módulo

Recorre las seis lecciones en orden. Responde a cada actividad antes de consultar las orientaciones. En 10.2 utilizarás el Excel para experimentar con las poblaciones y latencias. En 10.4 abrirás el registro del incidente; en 10.5 y 10.6 justificarás las pruebas, los estados y el expediente.

La previsión orientativa es de 4–6 horas de lectura y práctica, adaptable a la profundidad del trabajo. Los tres audios son apoyos opcionales y se contabilizan aparte. A acompaña 10.1 y 10.2; B acompaña 10.3 y 10.4; C acompaña investigación, comunicación y cierre. Lee las notas docentes junto a cada audio.

Qué llevarás al cierre

• MON-001 con alcance, cuatro indicadores, fuentes, criterios, decisiones y pendientes.
• Una explicación de los cambios de sensibilidad y percentiles en el laboratorio.
• INC-001 con cronología, triaje, evidencias, hipótesis, comunicación y criterios de recuperación.
• Un índice que permita seguir las relaciones con el inventario, los riesgos y los documentos anteriores.

Gobernar lo que ocurre después del despliegue

El seguimiento también comprueba si cambia el impacto del uso, si aparece una obligación de comunicación y si podremos reconstruir lo ocurrido. Un resultado agregado favorable no sustituye esas comprobaciones. Mantendrás MON-001 e INC-001 y completarás los registros vinculados que necesite cada decisión.

• En 10.1–10.3 conectarás métricas, cambios en personas afectadas y señales de revisión de impactos.
• En 10.4 distinguirás comunicación de servicio, protección de datos y notificación de incidentes en los supuestos del AI Act.
• En 10.5 definirás conservación y custodia de registros, incluidas las dependencias de APIs y SaaS.
• En 10.6 prepararás evidencia para la auditoría del módulo 11 e información para decisiones de dirección en el 12.

Las tablas de estas lecciones pueden completarse en un registro vinculado a las plantillas disponibles. Identifica versión, responsable y localizador. Una conclusión pendiente necesita actuación y revisión; no equivale a una decisión de que no hay obligación.

Las seis lecciones

Tres clases en conversación

Audios opcionales. Lee las notas docentes completas en 10.2, 10.4 y 10.6.

Audio A · Las trampas al medir la IA (nueva pestaña)

Audio B · La trampa del panel verde (nueva pestaña)

Audio C · Gestión de incidentes de IA (nueva pestaña)

Plantillas y herramientas del módulo 10

Prepara una copia de trabajo y consulta el ejemplo de cada documento. El caso es ficticio; las plantillas recogen declaraciones y mantienen visibles las comprobaciones pendientes.