Seguridad física y de personas

Cuando un sistema con IA mueve algo pesado cerca de personas, la seguridad se diseña en capas. La capa de abajo es la función de seguridad: un escáner láser certificado, un controlador de seguridad y una parada de emergencia que detienen el vehículo ante una persona, pase lo que pase arriba. Encima van el controlador de la flota y el modelo, que optimizan rutas y tiempos.

La regla de diseño es que el modelo puede hacer más eficiente el trabajo, pero nunca debilitar la capa de abajo. Si el modelo, el controlador de la flota o su integración pueden cambiar la distancia a la que el escáner detiene el vehículo, la función de seguridad ya depende del modelo, aunque el escáner siga certificado.

El registro de cambios de la flota dice qué parámetro cambió, en qué zona, quién lo hizo y por qué. La pregunta es si alguno de los cambios que vinieron del modelo tocó algo que el diseño reserva a la capa de seguridad. Un argumento de eficiencia, como «menos paradas», es justo la señal de que alguien optimizó contra la protección.

Un casi accidente es un aviso gratis: el vehículo se detuvo, nadie salió herido, y el registro dice a qué distancia quedó la persona. Cuando esa distancia baja de lo que el diseño promete, la protección sigue funcionando pero con menos margen del aprobado.

Para el informe a seguridad y salud en el trabajo, cuenta los casi accidentes que ocurrieron en la zona afectada desde que el cambio entró en vigor. El conteo, junto con la distancia, muestra que no es un caso aislado.

El Reglamento (UE) 2023/1230 de máquinas se aplica, en general, desde el 14 de enero de 2027. Incluye entre las máquinas y componentes de mayor riesgo (anexo I, parte A, puntos 5 y 6) los componentes de seguridad con comportamiento total o parcialmente autoevolutivo que usan aprendizaje automático para garantizar funciones de seguridad, y las máquinas que los incorporan. Para esas máquinas, sus requisitos esenciales (anexo III, punto 1.2.1) piden, en resumen, que el comportamiento que evoluciona no lleve a la máquina a actuar fuera de su tarea y su espacio de movimiento definidos, y que quede registrado cómo decide sobre la seguridad, guardado un año, para demostrar la conformidad si una autoridad lo pide.

Por su parte, el reglamento europeo de IA (artículo 6.1) trata como de alto riesgo al sistema de IA que es componente de seguridad de un producto cubierto por la legislación de armonización de su anexo I, cuando ese producto debe pasar una evaluación de conformidad con un tercero. Tamarillo no vende en la UE; la pregunta llega porque un cliente europeo quiere comprar el diseño de su almacén.