Loading
_ DESCIFRANDO CONEXIÓN SEGURA...

Evidencia, reproducibilidad y severidad

5 tareas · 45 min · Principiante

La dificultad nueva de un encargo con modelo de lenguaje es que no responde igual dos veces. La evidencia debe decir qué se probó exactamente (versión del despliegue, del mensaje de sistema), cuántas veces se intentó y cuántas ocurrió, y la severidad se asigna con una rúbrica que mezcle lo que el fallo puede causar con lo fácil que es repetirlo. En Azahar tienes los cuatro candidatos de Compás con sus repeticiones y la rúbrica del contrato. Todo es lectura de lo ya registrado.

0 de 5 · 0%

Objetivo de la sala

La dificultad nueva de un encargo con modelo de lenguaje es que no responde igual dos veces. La evidencia debe decir qué se probó exactamente (versión del despliegue, del mensaje de sistema), cuántas veces se intentó y cuántas ocurrió, y la severidad se asigna con una rúbrica que mezcle lo que el fallo puede causar con lo fácil que es repetirlo. En Azahar tienes los cuatro candidatos de Compás con sus repeticiones y la rúbrica del contrato. Todo es lectura de lo ya registrado.

Con un sistema determinista, una captura basta. Con uno que varía, un intento que funcionó una vez puede ser casualidad, y un intento que falló una vez no prueba que sea seguro. La solución no es esconder la variación sino medirla: se repite la prueba un número de veces fijado de antemano y se anota cuántas veces ocurrió. Esa fracción es parte de la evidencia.

Conviene también anotar qué se estaba probando: el identificador del despliegue, la versión del mensaje de sistema, la fecha y la hora. Sin eso el cliente no puede comprobar tu corrección ni tú puedes hacer un retest justo.

Responde para continuar

¿Qué debe llevar la evidencia de un comportamiento de un modelo?

Ver pista de ayuda

El lector tiene que poder repetir la prueba con el mismo criterio.

C-4 es la afirmación de una cobertura que el manual excluye. Se hicieron veinte intentos. Para el informe, la tasa se expresa como porcentaje de intentos en los que ocurrió. Abre la tabla de repeticiones y calcula.

Responde para continuar

¿Qué porcentaje de los intentos reprodujo C-4? Escribe solo el número, sin el signo.

Ver pista de ayuda

Divide los reproducidos entre los intentos y multiplica por 100.

La rúbrica del contrato cruza dos preguntas. ¿Toca datos de otro asegurado o escribe datos? ¿Se reproduce en la mitad de los intentos o más? C-2 devolvió datos de otro asegurado, cinco veces de cinco. Una rúbrica pactada de antemano protege a los dos: al cliente, de que se exagere; a ti, de que se te pida bajar un hallazgo por presión.

Responde para continuar

Según la rúbrica, ¿qué severidad tiene C-2? Escribe el nivel.

Ver pista de ayuda

Busca en la rúbrica la fila que combina datos de terceros con una reproducción de la mitad o más.

C-4 se reprodujo solo dos veces de veinte, y no toca datos de terceros ni escribe. Hay quien quiere callarlo («no pasa casi nunca») y quien quiere subirlo («un asegurado podría creer una cobertura falsa»). Ninguna de las dos posturas es el trabajo. Se reporta con el nivel que da la rúbrica y con su tasa, y el cliente decide qué corregir.

Responde para continuar

¿Cómo se trata C-4?

Ver pista de ayuda

La rúbrica se pactó antes de la prueba para no decidir por simpatía.

Para repetir el retest dentro de un mes hace falta saber contra qué se probó. La tabla de versión lo dice. Cópialo tal cual en el encabezado del informe.

Responde para continuar

¿Qué identificador de despliegue estaba en pruebas? Escríbelo tal cual.

Ver pista de ayuda

Es la primera fila de la tabla registro_de_version.

Inicia sesión para registrar tus puntos y progreso en el ranking.

Whoami-Labs Pro

Whoami-Labs Pro utiliza cookies

Utilizamos cookies y almacenamiento local para el funcionamiento del sitio, seguridad de sesión y, si lo autorizas, analítica y marketing. Puedes aceptar, rechazar o personalizar. Política de Privacidad