Medir la tasa de afirmaciones sin respaldo

Contar «respuestas incorrectas» parece natural y engaña. Una respuesta larga con siete afirmaciones correctas y una falsa cuenta igual que una respuesta de una sola frase inventada, y una respuesta que solo saluda entra en el denominador sin poder fallar. La unidad que usa una medición seria es la afirmación verificable: una frase que dice un hecho que se puede contrastar con la fuente, como un plazo, un porcentaje o si algo está cubierto. Los saludos, las frases de cortesía y las opiniones no se cuentan.

Con esa unidad, la tasa de afirmaciones sin respaldo es la proporción de afirmaciones verificables que ninguna fuente recuperada sostiene. Quien anota necesita una guía escrita que diga qué es verificable y qué cuenta como sin respaldo, para que dos personas lleguen a lo mismo.

Abre la tabla de la muestra por ámbito. La guía de anotación de Chequén tiene dos categorías de fallo: afirmaciones que ninguna fuente sostiene y afirmaciones que una fuente contradice. La nota de la tabla dice cómo se cuentan para la tasa. Calcula la tasa de toda la muestra.

La tasa global es un promedio ponderado por volumen, y los ámbitos con muchas afirmaciones lo dominan. Un ámbito pequeño con una tasa alta queda diluido, y suele ser justamente el más delicado. Por eso la tasa se informa por ámbito, y el ámbito con la tasa más alta se nombra aunque tenga pocas afirmaciones.

Calcula la tasa de cada ámbito con la misma definición y señala la más alta.

Una tasa anotada por personas es tan buena como el acuerdo entre ellas. Si dos personas que siguen la misma guía no coinciden, la guía es ambigua o la tarea es difícil, y la cifra tiene un margen que hay que decir. La forma más simple de medirlo es la proporción de afirmaciones en las que las dos personas, anotando por separado, llegaron a la misma decisión. Hay medidas más finas que descuentan el acuerdo por azar; esta basta para saber si la guía necesita trabajo.

Con la tabla de doble anotación, calcula el acuerdo.

Anotar a mano es caro, y es tentador pedirle a otro modelo que marque las afirmaciones sin respaldo. Puede servir para vigilar a diario, pero solo después de compararlo con la anotación humana sobre la misma muestra y saber cuánto se aparta, ámbito por ámbito. Un juez que marca bastante menos de lo que encuentran las personas da una cifra tranquilizadora y falsa: confabula sobre la confabulación. Mientras no se valide, su cifra no va al informe, y aun validado se mantiene una muestra humana periódica para detectar si se desvía.