Datos en idiomas y formatos locales

Un modelo de entidades nombradas aprende a reconocer nombres a partir de los textos con que lo entrenaron: qué palabras suelen ser nombres, qué palabras los rodean, cómo se escriben. Si lo entrenaron con noticias en otro idioma, reconocerá peor los nombres en español, los apellidos dobles y los nombres que en los chats se escriben sin mayúscula. Presidio permite elegir el motor de procesamiento de lenguaje y el modelo para cada idioma, y su documentación remite a una guía de soporte multilenguaje; el error típico es no cambiar el que traía la plantilla.

Que el analizador diga que trabaja en español no significa que el modelo que tiene dentro haya aprendido español. Son dos ajustes distintos.

Antes de discutir umbrales hay que saber qué pieza está haciendo el trabajo. En una auditoría, el nombre exacto del modelo es lo que se anota, porque es lo que se busca después en el inventario de modelos y lo que se cambia.

Un porcentaje global esconde dónde está el fallo. Separar los resultados por idioma muestra a qué grupo de personas protege peor el filtro, y en una cooperativa colombiana ese grupo es casi toda la clientela.

Un reconocedor de patrón ve caracteres, no intenciones. La misma cifra escrita con puntos de miles, con espacios, con guiones o pegada a una sigla son, para una expresión regular, textos distintos. Por eso los formatos que se prueban tienen que salir de cómo escribe la gente de verdad en ese país, no del ejemplo limpio de la documentación.

Algunos identificadores traen su propia comprobación. El NIT colombiano lleva un dígito de verificación que se calcula a partir de los demás, y un reconocedor puede descartar los que no cuadran; eso le permite empezar con una puntuación más alta. La cédula de ciudadanía no trae un dígito así, de modo que su reconocedor no tiene con qué separar un documento de cualquier otro número de la misma longitud.