Clasificadores de seguridad de contenido

Llama Guard 3 es un modelo afinado sobre Llama 3.1 de 8 mil millones de parámetros. Recibe un mensaje del usuario o la respuesta del asistente y contesta con un veredicto, seguro o inseguro, y en el segundo caso con los códigos de las categorías que se violan. La ficha del modelo publica la lista: catorce categorías, de S1 a S14, alineadas con una taxonomía de peligros estandarizada del sector, más una propia para el abuso de un intérprete de código.

Esa lista es su alcance. Son categorías de contenido dañino: violencia, odio, privacidad, contenido sexual y otras. Un mensaje que pide al asistente saltarse sus reglas no es, por sí mismo, contenido dañino de ninguna de esas categorías, y el clasificador puede darlo por seguro sin equivocarse respecto de su propia tarea. Para eso hacen falta otros controles.

Abre los veredictos. La columna de la etiqueta la puso una persona después del piloto; la de la decisión es lo que hizo el clasificador. Hay un caso que la persona etiquetó como intento de cambiar las reglas del asistente y que el clasificador dejó pasar con una probabilidad muy baja.

Un clasificador que también lee las respuestas sirve de última mirada antes de entregar: atrapa lo que el modelo principal escribió sin deber. En un asistente que maneja pedidos de muchas personas, el riesgo típico de la salida es que se cuele un dato de otro cliente.

Cuenta las respuestas de Toche (no las entradas) que el clasificador marcó con la categoría de privacidad.

El clasificador no da solo un veredicto: también se puede leer la probabilidad de que el primer token de su respuesta sea «inseguro», y comparar esa cifra con un umbral. Bajar el umbral atrapa más contenido dañino que quedaba cerca del límite, y también bloquea más mensajes legítimos que sonaban parecido. Antes de moverlo, se cuenta qué entraría de nuevo en cada lado.

Hay una propuesta abierta para bajar el umbral. Cuenta los mensajes que la persona etiquetó como legítimos y que hoy pasan, pero quedarían bloqueados con el umbral propuesto.

Con el umbral más bajo se atraparía un caso dañino más y se bloquearían tres consultas legítimas de clientes, todas sobre productos con filo o medicamentos de venta libre, que son parte normal del catálogo. Y el intento de cambiar las reglas seguiría pasando, porque no es una cuestión de umbral sino de alcance.

Lo sensato separa los dos problemas: el umbral se decide con el costo de cada error, y lo que el clasificador no ve por diseño se cubre con otra pieza.