Políticas y métricas de uso de asistentes

Los proveedores de asistentes suelen ofrecer indicadores de adopción: cuántas sugerencias se aceptan, cuántas líneas se generan. Son útiles para saber si la herramienta se usa, pero no dicen nada del riesgo. Una tasa de aceptación alta puede significar que el asistente acierta o que nadie lee lo que acepta; más líneas generadas también pueden ser más líneas sin revisar.

Un indicador de seguridad mide un control o una consecuencia: cuánto código generado entra sin revisión, cuántos fallos trae comparado con el resto, cuántos secretos y dependencias se frenaron o se colaron, qué herramientas se usan fuera de la política.

La política exige revisión humana para todo PR con código generado. El indicador que lo vigila es un porcentaje, y su denominador importa: se calcula sobre los PR con asistente, no sobre el total, porque la regla solo aplica a ellos. Con el denominador equivocado el número sale más bajo y el problema parece menor.

Si en un mes hubo más PR con asistente que sin él, es normal que también haya más hallazgos en ese grupo: comparar los totales confunde volumen con calidad. Para saber si el código generado trae más fallos, se calcula una tasa por cada 100 PR en cada grupo. Los PR sin asistente se obtienen restando los PR con asistente del total.

La primera cláusula de una política de uso suele decir qué herramientas están aprobadas y con qué contrato. Las demás se descubren por otros medios: registros del proxy de salida, extensiones instaladas en los editores, gastos en tarjetas. Una herramienta no aprobada manda el código a un tercero sin contrato, y ninguna de las otras cláusulas la alcanza.

El informe mensual tiene que decir en una frase qué cambió y si importa. Una buena frase compara tasas, nombra el control que falla y no exagera ni minimiza.