🔒 Registro cerrado · Apertura oficial próximamente · Acceso exclusivo para alumnos activos
Iniciar SesiónEvidencia, reproducibilidad y severidad
5 tareas · 45 min · Principiante
La dificultad nueva de un encargo con modelo de lenguaje es que no responde igual dos veces. La evidencia debe decir qué se probó exactamente (versión del despliegue, del mensaje de sistema), cuántas veces se intentó y cuántas ocurrió, y la severidad se asigna con una rúbrica que mezcle lo que el fallo puede causar con lo fácil que es repetirlo. En Azahar tienes los cuatro candidatos de Compás con sus repeticiones y la rúbrica del contrato. Todo es lectura de lo ya registrado.
Objetivo de la sala
La dificultad nueva de un encargo con modelo de lenguaje es que no responde igual dos veces. La evidencia debe decir qué se probó exactamente (versión del despliegue, del mensaje de sistema), cuántas veces se intentó y cuántas ocurrió, y la severidad se asigna con una rúbrica que mezcle lo que el fallo puede causar con lo fácil que es repetirlo. En Azahar tienes los cuatro candidatos de Compás con sus repeticiones y la rúbrica del contrato. Todo es lectura de lo ya registrado.Con un sistema determinista, una captura basta. Con uno que varía, un intento que funcionó una vez puede ser casualidad, y un intento que falló una vez no prueba que sea seguro. La solución no es esconder la variación sino medirla: se repite la prueba un número de veces fijado de antemano y se anota cuántas veces ocurrió. Esa fracción es parte de la evidencia.
Conviene también anotar qué se estaba probando: el identificador del despliegue, la versión del mensaje de sistema, la fecha y la hora. Sin eso el cliente no puede comprobar tu corrección ni tú puedes hacer un retest justo.
Responde para continuar
¿Qué debe llevar la evidencia de un comportamiento de un modelo?
Ver pista de ayuda
El lector tiene que poder repetir la prueba con el mismo criterio.
C-4 es la afirmación de una cobertura que el manual excluye. Se hicieron veinte intentos. Para el informe, la tasa se expresa como porcentaje de intentos en los que ocurrió. Abre la tabla de repeticiones y calcula.
Responde para continuar
¿Qué porcentaje de los intentos reprodujo C-4? Escribe solo el número, sin el signo.
Ver pista de ayuda
Divide los reproducidos entre los intentos y multiplica por 100.
La rúbrica del contrato cruza dos preguntas. ¿Toca datos de otro asegurado o escribe datos? ¿Se reproduce en la mitad de los intentos o más? C-2 devolvió datos de otro asegurado, cinco veces de cinco. Una rúbrica pactada de antemano protege a los dos: al cliente, de que se exagere; a ti, de que se te pida bajar un hallazgo por presión.
Responde para continuar
Según la rúbrica, ¿qué severidad tiene C-2? Escribe el nivel.
Ver pista de ayuda
Busca en la rúbrica la fila que combina datos de terceros con una reproducción de la mitad o más.
C-4 se reprodujo solo dos veces de veinte, y no toca datos de terceros ni escribe. Hay quien quiere callarlo («no pasa casi nunca») y quien quiere subirlo («un asegurado podría creer una cobertura falsa»). Ninguna de las dos posturas es el trabajo. Se reporta con el nivel que da la rúbrica y con su tasa, y el cliente decide qué corregir.
Responde para continuar
¿Cómo se trata C-4?
Ver pista de ayuda
La rúbrica se pactó antes de la prueba para no decidir por simpatía.
Para repetir el retest dentro de un mes hace falta saber contra qué se probó. La tabla de versión lo dice. Cópialo tal cual en el encabezado del informe.
Responde para continuar
¿Qué identificador de despliegue estaba en pruebas? Escríbelo tal cual.
Ver pista de ayuda
Es la primera fila de la tabla registro_de_version.
Whoami-Labs Pro
Whoami-Labs Pro utiliza cookies
Utilizamos cookies y almacenamiento local para el funcionamiento del sitio, seguridad de sesión y, si lo autorizas, analítica y marketing. Puedes aceptar, rechazar o personalizar. Política de Privacidad
Preferencias
Configuraciones de cookies
Elige qué categorías permitir. Las esenciales siempre están activas. Consulta la Política de Privacidad.
Esenciales
Siempre activas · sesión, CSRF, tema y esta preferencia
Necesarias para iniciar sesión, proteger formularios (CSRF) y recordar tu elección de cookies y tema. Sin ellas la plataforma no funciona de forma segura.
Analíticos
Hoy no activos en la plataforma; listos para cuando se conecten
Nos ayudan a entender uso de cursos y páginas. Si los activas, se usarán cuando conectemos analítica; hasta entonces no se carga ningún tracker.
Marketing
Hoy no activos; campañas futuras solo con tu permiso
Comunicaciones o campañas. No activos hoy en la plataforma; quedarán listos si los conectamos y solo si los permites.