Gestión de cambios en sistemas y modelos de IA
Una versión nueva puede mejorar el resultado agregado y empeorar una categoría crítica. La autorización requiere comparar el cambio con criterios establecidos antes de ver sus resultados.
Actividad · Comprueba tu criterio
Reconocer cambios que necesitan revisión
Registra versión, configuración y condiciones anteriores y propuestas. Un cambio puede afectar al modelo, instrucciones, umbrales, categorías, datos, fuente documental, integración o condiciones del proveedor. Empieza por qué ha cambiado y qué efectos podría tener.
Revisa riesgos e impactos cuando el cambio pueda alterar finalidad, afectados, datos, autonomía, calidad, seguridad o continuidad. Una revisión rápida sigue necesitando fundamento y una conclusión. Si aparecen incertidumbres importantes o efectos más amplios, amplía la evaluación antes de autorizar lo que dependa de ella.
Separar una actualización de una desviación
Una actualización del proveedor puede alterar las salidas. El término drift describe cambios en datos, relaciones relevantes o comportamiento a lo largo del tiempo, según el fenómeno observado. Una degradación no demuestra por sí sola que el proveedor haya actualizado el modelo.
Mantén pruebas de referencia y registra versión observada, configuración, fuentes, entradas y fecha. Ante una desviación, contrasta causas: cambios de las incidencias, categorías, instrucciones, integración o proveedor. Si la versión está oculta o utiliza un alias mutable, no afirmes trazabilidad completa; documenta la limitación y las comprobaciones compensatorias posibles.
Diseñar una comparación útil
Usa incidencias sintéticas o datos de prueba permitidos, representativos del ámbito. Separa los datos utilizados para ajustar la solución de los que se emplean para evaluarla. Compara v1 y v2 en condiciones equivalentes y registra composición, categorías y limitaciones de la muestra.
La exactitud global es la proporción de clasificaciones correctas sobre el total evaluado. La precisión por categoría indica qué proporción de los casos asignados a esa categoría pertenece realmente a ella. La sensibilidad o recall indica qué proporción de los casos reales de una categoría se ha detectado. Especifica la métrica: llamar «precisión» a cualquier porcentaje puede ocultar diferencias relevantes.
Para una categoría crítica interesa reconocer los falsos negativos: incidencias que deberían recibir esa prioridad y no la reciben. Comprueba también destinos incorrectos, situaciones ambiguas, latencia, fallos de integración y capacidad de revisión humana. Una cifra agregada no sustituye el análisis de los efectos.
Usar criterios previos y resultados observados
Supuesto numérico didáctico: en 100 incidencias hay 10 críticas. v1 acierta 90 de las 100 y detecta 9 de las 10 críticas. v2 acierta 94 de las 100, pero detecta solo 7 de las 10 críticas. La exactitud global mejora del 90 % al 94 % y la sensibilidad de la categoría crítica baja del 90 % al 70 %. Si habíamos fijado al menos un 90 % de sensibilidad crítica para el ejercicio, v2 no cumple ese criterio.
Los números ilustran una decisión; no son resultados reales del caso ni umbrales de ISO/IEC 42001. En una aplicación real hay que justificar el tamaño y composición de la muestra, la incertidumbre y los criterios según las consecuencias. No se define un criterio más laxo después de observar el resultado para hacer que el cambio parezca aceptable.
Autorizar y observar el despliegue
CAM-001 reúne solicitud y motivo, alcance, referencia anterior, pruebas, revisión de riesgos e impactos, pendientes, decisión y condiciones. Separa quien solicita, quien comprueba, quien autoriza y quien acepta el riesgo residual según el gobierno establecido.
Define cómo se despliega, qué se observa después y qué señal exige intervenir. El retorno a v1 necesita confirmar que sigue disponible y permitido. Si no puede restaurarse, utiliza una alternativa validada, como clasificación humana con cobertura suficiente. Para un cambio urgente, prepara un recorrido proporcionado de evaluación, contención, autorización y registro; la urgencia no convierte un cambio desconocido en seguro.
Plantilla Word y ejemplo: CAM-001
Lee el ejemplo antes de completar tu copia. En la plantilla, sustituye los campos resaltados en amarillo y adapta el documento al uso que evalúas. Conserva las condiciones pendientes hasta contar con evidencia.
CAM-001 · Gestión y autorización de cambios
Documenta criterios, pruebas, resultados y decisión del cambio del clasificador. El ejemplo conserva las cifras del módulo 9.
Actividad
Completa CAM-001 con el supuesto v1/v2. Define antes de decidir tres criterios de aceptación y explica el efecto de las incidencias críticas no detectadas. Añade una condición de retorno o atención alternativa y un plan de observación posterior.
Orientación para revisar tu propuesta
Con el criterio didáctico de sensibilidad crítica mínima del 90 %, v2 no se autoriza para el mismo uso sin resolver la desviación o reconsiderar de forma fundamentada el diseño y las condiciones. La mejora global no compensa automáticamente el deterioro crítico. Una propuesta de ajuste necesita volver a probarse; el documento conserva criterios previos, resultados y decisión.
Comprueba tu criterio
¿Mejorar la exactitud global basta para aprobar?
Hay que comprobar todos los criterios pertinentes, especialmente los efectos de errores en categorías críticas.
¿Una desviación demuestra un cambio silencioso del proveedor?
No. Es una señal que necesita contraste con entradas, configuración, integración, fuentes y versiones disponibles.
¿El plan de retorno puede dar por supuesto que v1 seguirá disponible?
Debe verificarse. Si no existe retorno viable, hay que preparar otra alternativa y considerar esa limitación en la autorización.
Clase en conversación · Audio A
022. Gobernar los cambios de IA: proveedores, pruebas y autorización
Duración publicada: 12:20. Escucha después de 9.4.
Clase complementaria de las lecciones 9.3 y 9.4. El contenido escrito permite completar las actividades.