Plan de seguimiento del sistema de IA
¿Qué necesitamos observar para decidir si el uso puede continuar en sus condiciones?
Actividad · Comprueba tu criterio
Del funcionamiento técnico al resultado del servicio
Disponibilidad, errores de conexión, carga y latencia siguen siendo importantes en servicios TI. Informan de si el sistema está accesible y de las condiciones técnicas de prestación. Para IA debemos observar también la salida y su utilización. Una API disponible puede producir una clasificación incorrecta; un resumen rápido puede omitir una excepción que cambia la decisión del técnico.
Separa tres ámbitos relacionados. El comportamiento de la IA incluye aciertos, omisiones, respuestas sin respaldo y diferencias entre grupos. El resultado del servicio incluye atención, resolución, retrasos y efectos sobre usuarios. El funcionamiento del SGIA incluye cobertura de revisión, cumplimiento de decisiones, tratamiento de alertas y seguimiento de acciones.
Medir solo el modelo deja fuera fallos de integración o supervisión. Medir solo el servicio puede ocultar que las personas están corrigiendo constantemente una salida deficiente. Por eso interesa observar también la intervención humana y conservar sus condiciones: quién revisó, qué cambió, cuándo y antes de qué actuación.
Partir de una decisión concreta
Antes de elegir métricas, redacta una pregunta operativa. Para el clasificador: ¿reconocemos los tickets críticos del alcance autorizado? Para el chatbot: ¿llega la solicitud derivada a una persona dentro del plazo definido? Para el copiloto: ¿existe evidencia de revisión previa en los usos que la requieren?
Relaciona la pregunta con un objetivo y un riesgo del expediente. Define población, fuente y responsable. Añade la autoridad que puede restringir el uso, pues recibir un informe y poder actuar son funciones diferentes. La frecuencia debe reflejar urgencia y observabilidad: un resumen periódico puede servir para tendencias, mientras una señal de exposición sensible requiere valoración inmediata.
Un plan útil conserva seis elementos: uso y alcance; objetivo y riesgo; fuentes; frecuencia y cobertura; responsable y autoridad; límites y pendientes. MON-001 reúne estos elementos con los indicadores. FD-001 aporta propósito, límites y dependencias del sistema, y SUP-001 permite comprobar la supervisión prevista.
Integrar el SGIA con seguridad y gestión de servicios
La organización puede disponer de un SGSI, mesa de servicio y procedimiento de incidentes. Aprovecha responsables, canales, registros y mecanismos de preservación ya existentes. Si una exposición de datos afecta a un uso de IA, vincula ambos expedientes con una cronología común y evita copiar información sensible a registros con acceso diferente.
El seguimiento de seguridad aporta señales de accesos, permisos, vulnerabilidades e intentos de manipulación. El SGIA añade preguntas sobre finalidad, calidad de la salida, impacto en personas, uso autorizado y revisión humana. Esa ampliación permite detectar un fallo de clasificación sin tratarlo necesariamente como un ataque informático.
Si el proveedor controla el modelo, la organización necesita saber qué información obtiene del contrato, qué puede observar directamente y qué debe solicitar. Un panel del proveedor no acredita por sí solo la calidad del flujo integrado ni la atención de las solicitudes derivadas.
Fuentes cobertura y protección
Combina resultados de pruebas, registros de ejecución, revisión humana, reclamaciones y avisos del proveedor. Identifica qué unidad representa cada registro. Una conversación puede contener varias respuestas y una respuesta varias afirmaciones. Cambiar de unidad sin explicarlo impide comparar las tasas.
Define acceso y conservación según finalidad y requisitos aplicables. El cuadro necesita localizadores de evidencia y recuentos; el registro restringido puede necesitar originales pertinentes. Conserva integridad y procedencia sin volcar indiscriminadamente prompts, datos personales o credenciales en el tablero.
NIST AI RMF 1.0 aporta un marco voluntario para relacionar gobierno, contexto, medición y gestión del riesgo durante el ciclo de vida. No establece una lista obligatoria de indicadores para este curso. Fuente: NIST AI RMF Core (nueva pestaña).
Aplicación al caso
Propón revisión del clasificador por conjunto evaluado y tras cambios relevantes. Para el chatbot observa atención efectiva de derivaciones y capacidad humana. Para el copiloto vincula cada salida del alcance obligatorio con la revisión anterior a su uso. Conserva las propuestas como propuestas hasta que la función autorizada las apruebe.
Revisar el uso, sus impactos y las obligaciones aplicables
El plan debe observar el sistema que se usa realmente: finalidad, destinatarios, tareas, datos, versión e integración. Un cambio de público o de finalidad puede exigir revisar impactos aunque la precisión no haya cambiado. La denominación chatbot, clasificador o copiloto no determina por sí sola la clasificación jurídica.
Identifica por separado el rol de la organización en cada uso. Puede actuar como responsable del despliegue de un producto de terceros y asumir obligaciones de proveedor en otra solución. El proveedor del modelo y el proveedor del sistema tampoco son siempre la misma entidad. Registra el análisis y su fuente sin deducir el rol únicamente del contrato comercial.
Puedes desplazar la tabla lateralmente si no cabe en la pantalla.
| Elemento del plan | Qué concretar | Qué desencadena revisión |
|---|---|---|
| Impacto en personas | Personas y grupos pertinentes, decisiones afectadas, posibles perjuicios y canales de reclamación. | Cambios de uso, público, datos, resultados por segmentos, reclamaciones o nueva evidencia. |
| Revisión programada | Frecuencia, cobertura, responsable, evidencia y autoridad que decide. | Fecha prevista; no existe una periodicidad mensual universal para todos los usos. |
| Vigilancia entre revisiones | Señales urgentes, suplencia y canal de escalado. | Una señal relevante activa valoración sin esperar al informe periódico. |
| Aplicabilidad jurídica | Uso, clasificación, rol, obligación, fecha y transitorio aplicables. | Cambios de servicio o regulación y hechos que activen un deber concreto. |
Relaciona el seguimiento con R-001, IMP-001 y SUP-001. La revisión puede mantener la valoración, modificarla o dejar una comprobación justificada pendiente. Anota qué evidencia sostiene la conclusión. Para alto riesgo, contrasta Artículo 6 (nueva pestaña) y las obligaciones del rol; comprueba también el calendario en Artículo 113 (nueva pestaña).
Actividad
Completa seis campos para un uso: alcance; objetivo y riesgo; fuentes; frecuencia y cobertura; responsable y autoridad; límites y pendientes. Explica una decisión que permitiría tomar el seguimiento y una señal que no puede esperar al informe periódico.
Orientación para revisar tu propuesta
Qué:
Orientación: «observar latencia» resulta insuficiente si el riesgo es omitir incidencias críticas. Debes añadir referencia y resultados de clasificación. Para las derivaciones, documenta primera atención efectiva y plazo; una marca de envío a la cola no prueba atención humana. Si desconoces la fuente, registra qué falta y quién la verificará.
Por qué: La medida debe servir a una decisión y describir qué cubre; una cifra de acceso al servicio no demuestra calidad ni control del uso.
Cómo: Relaciona finalidad, riesgo, fuente, cobertura y autoridad; contrasta el dato y registra las limitaciones antes de decidir.
Cuándo: Al definir el seguimiento, en las revisiones previstas y cuando cambie el uso o aparezca una señal relevante.
Dónde: En MON-001 y su plan o registro vinculado, con referencias a FD-001, R-001, IMP-001 y SUP-001 según proceda.
Con qué: Con definiciones, fuentes autorizadas, ventanas, muestras y pruebas de supervisión; conserva las ausencias como pendientes.
Comprueba tu criterio
¿Disponibilidad demuestra calidad? No, mide accesibilidad en las condiciones definidas. ¿Qué observamos del SGIA? Cobertura y aplicación de controles, respuesta y seguimiento de decisiones. ¿Puede una señal grave esperar al resumen mensual? Su urgencia exige una ruta de valoración y actuación oportuna.
¿Una API disponible demuestra que la salida sirve para la finalidad?
Qué:
No. Disponibilidad observa acceso; la calidad necesita referencia, criterios y contexto del uso.
Por qué: La medida debe servir a una decisión y describir qué cubre; una cifra de acceso al servicio no demuestra calidad ni control del uso.
Cómo: Relaciona finalidad, riesgo, fuente, cobertura y autoridad; contrasta el dato y registra las limitaciones antes de decidir.
Cuándo: Al definir el seguimiento, en las revisiones previstas y cuando cambie el uso o aparezca una señal relevante.
Dónde: En MON-001 y su plan o registro vinculado, con referencias a FD-001, R-001, IMP-001 y SUP-001 según proceda.
Con qué: Con definiciones, fuentes autorizadas, ventanas, muestras y pruebas de supervisión; conserva las ausencias como pendientes.
¿Qué diferencia hay entre recibir el panel y poder restringir el uso?
Qué:
Son funciones distintas. El plan necesita responsable de revisión y función con autoridad para actuar.
Por qué: La medida debe servir a una decisión y describir qué cubre; una cifra de acceso al servicio no demuestra calidad ni control del uso.
Cómo: Relaciona finalidad, riesgo, fuente, cobertura y autoridad; contrasta el dato y registra las limitaciones antes de decidir.
Cuándo: Al definir el seguimiento, en las revisiones previstas y cuando cambie el uso o aparezca una señal relevante.
Dónde: En MON-001 y su plan o registro vinculado, con referencias a FD-001, R-001, IMP-001 y SUP-001 según proceda.
Con qué: Con definiciones, fuentes autorizadas, ventanas, muestras y pruebas de supervisión; conserva las ausencias como pendientes.
¿Hay que copiar todos los prompts al cuadro?
Qué:
No. Conserva recuentos y localizadores; guarda los originales pertinentes en un repositorio autorizado con integridad, acceso y retención.
Por qué: La medida debe servir a una decisión y describir qué cubre; una cifra de acceso al servicio no demuestra calidad ni control del uso.
Cómo: Relaciona finalidad, riesgo, fuente, cobertura y autoridad; contrasta el dato y registra las limitaciones antes de decidir.
Cuándo: Al definir el seguimiento, en las revisiones previstas y cuando cambie el uso o aparezca una señal relevante.
Dónde: En MON-001 y su plan o registro vinculado, con referencias a FD-001, R-001, IMP-001 y SUP-001 según proceda.
Con qué: Con definiciones, fuentes autorizadas, ventanas, muestras y pruebas de supervisión; conserva las ausencias como pendientes.