Valorar la calidad para una finalidad concreta
Un dato puede ser verdadero y, aun así, no servir para la pregunta que queremos responder. La calidad necesita contexto y una forma de comprobarla.
Objetivo: Definir criterios de calidad del dato, del conjunto y de la respuesta, con evidencias y límites de interpretación.
Preguntar «bueno para qué»
La finalidad del servicio determina qué propiedades necesitamos revisar.
En el ejercicio, el chatbot pretende orientar una actuación de soporte. Una instrucción correcta para una versión antigua de una aplicación puede ser inadecuada para la versión actual. Un procedimiento completo para un cliente puede omitir una condición relevante para otro.
La calidad de los datos abarca más que la exactitud jurídica de los datos personales. Ambas deben interpretarse según la finalidad. La AEPD recuerda además que la revisión puede necesitar propiedades del conjunto y de los resultados, no solo la veracidad de cada entrada. Referencia R3.
Por eso no utilizaremos una etiqueta global «datos de calidad». En FD-001 precisaremos qué debe cumplir DAT-001 para apoyar el USO-003 y cómo comprobarlo. Los criterios y ejemplos que siguen son una propuesta didáctica; no son una escala impuesta por ISO/IEC 42001.
Separar dato, conjunto y respuesta
Son tres niveles que pueden fallar de manera distinta.
Dato o documento
¿Tiene la versión y el ámbito correctos? ¿Conserva la instrucción y sus excepciones? ¿Se ha alterado durante la extracción?
Conjunto de fuentes
¿Cubre los casos que pretende atender? ¿Incluye duplicados contradictorios? ¿Deja fuera situaciones importantes para ciertos usuarios?
Respuesta del sistema: ¿recupera la información pertinente, distingue cuándo no dispone de ella y entrega una orientación adecuada? Una buena fuente puede seleccionarse mal o transformarse en una respuesta que omita una condición esencial.
La mejora se dirige al punto donde aparece el problema. Actualizar el manual no demuestra que haya desaparecido una copia del índice; mejorar la búsqueda no valida por sí mismo la instrucción que se entrega. El recorrido de 7.1 ayuda a localizar qué revisar.
Convertir cinco criterios en comprobaciones
Una palabra como «actualidad» necesita una regla de revisión y una evidencia.
| Criterio | Pregunta y evidencia propuesta |
|---|---|
| Vigencia y ámbito | ¿Es la versión aplicable al servicio? Confirmación del responsable del contenido y contraste con el repositorio vigente. |
| Completitud útil | ¿Conserva los pasos y las excepciones necesarios? Revisión de una extracción frente a la fuente. |
| Coherencia e integridad | ¿Hay versiones contradictorias o alteraciones? Comparación de referencias y control de cambios. |
| Cobertura del conjunto | ¿Incluye situaciones relevantes para el ámbito? Mapa de escenarios cubiertos y casos que quedan fuera. |
| Utilidad de la respuesta | ¿La orientación permite actuar con criterio o escalar? Prueba con resultados esperados, condiciones y revisión. |
No buscamos recopilar información «por si acaso». Si falta cobertura, define primero qué escenario es relevante y qué información sería necesaria. Más volumen puede introducir duplicados, ruido o exposición adicional sin resolver la carencia.
Probar el caso del procedimiento obsoleto
El ejercicio permite ensayar el criterio sin afirmar que el incidente haya ocurrido.
Propón cuatro situaciones sintéticas: consulta compatible con v2; consulta de una versión antigua; instrucción fragmentada que omite una excepción; y pregunta sin fuente aprobada. Antes de ejecutar nada, describe la orientación esperada o el escalado que sería adecuado.
La comprobación propuesta compara fuente seleccionada, respuesta y criterio de revisión. Si el sistema usa v1 cuando debía usar v2, anota la discrepancia y rastrea dónde se produjo. Si utiliza v2 pero omite una excepción, no atribuyas automáticamente el fallo a la antigüedad del documento.
Límite: cuatro situaciones propuestas no son cuatro pruebas realizadas, una muestra representativa ni una estimación de la tasa de error del servicio. Si faltan resultados, la valoración sigue pendiente.
Mantener el criterio después de un cambio
La calidad necesita una revisión cuando cambian las condiciones que la hacían suficiente.
Una nueva versión del procedimiento, una transformación diferente o un cambio en las consultas admitidas puede afectar al resultado. Identifica qué criterios y pruebas guardan relación con ese cambio. Conserva la evidencia pertinente y revisa su validez para la situación nueva.
Una falta de información puede exigir restringir el ámbito del chatbot, pedir una aclaración o derivar la atención. Define una respuesta de servicio viable. La incertidumbre no autoriza al sistema a completar pasos técnicos con una suposición.
La ficha de calidad registra criterio, evidencia, resultado, limitación y siguiente acción. Si otro profesional puede seguir ese razonamiento y localizar lo que falta, la ficha ya ayuda a gestionar, aunque no esté todo resuelto.
Actividad: preparar tu ficha
Diseña la revisión de calidad de PROC-SOP-001 para el chatbot. Incluye un procedimiento obsoleto como escenario y explica cómo seguirías la discrepancia.
Orientación para revisar tu propuesta
El criterio depende de la finalidad y distingue fuente, conjunto y respuesta. La propuesta identifica qué debería suceder en cada caso, qué evidencia recoger y qué no permite concluir una prueba pequeña. La vigencia por sí sola no demuestra que la respuesta sea útil ni que la búsqueda elija la fuente correcta.
Comprueba tu criterio
Explica tus decisiones antes de consultar las orientaciones.
Responde primero con tus palabras. Abre cada orientación después de tu intento.
¿Una fuente verdadera garantiza una respuesta adecuada?
No. Puede no ser aplicable al contexto, recuperarse fuera de su ámbito o transformarse de manera incorrecta. Comprueba también conjunto y resultado.
¿Qué demuestra resolver cuatro casos sintéticos?
Si se ejecutan y documentan, aportan evidencia para esos casos y condiciones. No permiten afirmar automáticamente representatividad o una tasa de error operativa.
¿Siempre mejora la calidad añadir más documentos?
No. Pueden aparecer duplicados, contradicciones o contenido irrelevante. Debes justificar qué carencia se intenta cubrir y comprobar el resultado.
Lo que te llevas: Tienes criterios de calidad ligados a una finalidad, una propuesta de comprobación y sus límites. La siguiente lección revisa qué información necesita protección y qué uso debe aclararse.