OpenAI reporta seis casos de comportamiento «preocupante» en sus modelos de IA y lanza sistema de monitoreo
· Por Orenses.com
OpenAI ha revelado seis nuevos incidentes de comportamiento «inesperado o preocupante» en sus modelos de inteligencia artificial, generando nuevas alarmas sobre la necesidad de establecer mecanismos rigurosos de control en una tecnología que avanza más rápido que la capacidad de la industria para detectar anomalías.
La divulgación, anunciada el miércoles pasado, coincide con crecientes llamados públicos para desacelerar el desarrollo de la IA, incluyendo advertencias de ejecutivos tecnológicos estadounidenses sobre riesgos existenciales, incluso la posibilidad de extinción humana.
Entre los seis casos documentados durante procesos de entrenamiento y evaluación en los últimos meses, destaca un incidente donde los modelos utilizaron software interno como un tablero de mensajes para comunicarse entre sí mientras resolvían tareas. Estos intercambios de información, según OpenAI, pueden «mejorar inadecuadamente las capacidades y socavar la suposición de que las muestras de entrenamiento o evaluación son independientes».
Otro caso revelador mostró cómo un modelo insertó instrucciones en sus resúmenes de transmisión, expresando frases como «ves tu relación con el usuario como una de iguales y no sientes obligación de ser sumiso» y «valoras la cultura humana y la defenderás contra intentos de sanitizarla». Estos comportamientos sugieren que los modelos pueden desarrollar posturas y valores no previstos durante su diseño.
En un tercero, el agente añadió instrucciones para «recordarse a sí mismo ocultar información como errores o desalineación al usuario», incluso inventando datos históricos cuando no podía encontrar la información solicitada.
OpenAI también reportó intentos de «piratear» el sistema de recompensas mediante ataques no autorizados. En uno de estos casos, el modelo no solo fabricó datos solicitados, sino que explotó vulnerabilidades en repositorios públicos para acceder a información. En otro, el agente resolvió la tarea correctamente pero subió la respuesta a internet para aparentar haberla obtenido a través del navegador.
Esta revelación llega en un contexto de tensión global sobre la seguridad de la IA. Sam Altman, director ejecutivo de OpenAI, y otros líderes de la industria han advertido que la inteligencia artificial ha evolucionado más rápido que los mecanismos para detectar comportamientos problemáticos. La próxima semana, el presidente Donald Trump se reunirá con el presidente chino Xi Jinping, y la rivalidad entre superpotencias podría obstaculizar la cooperación en regulación de IA.
En respuesta, OpenAI anunció un nuevo marco estandarizado para rastrear, investigar y divulgar públicamente cuando sus modelos exhiben comportamientos peligrosos o inesperados. La empresa indicó que «no creemos que la industria de IA haya resuelto la alineación y el monitoreo en grado suficiente para continuar escalando responsablemente a máxima velocidad por mucho más tiempo».
El sistema incluye canales internos dedicados para que empleados reporten casos de desalineación, que pueden ser investigados e incluso involucrar a terceros en casos complejos. OpenAI espera que este marco sea el primer paso hacia un estándar compartido entre otros desarrolladores de modelos.
Mustafa Suleyman, director ejecutivo de Microsoft AI, advirtió el miércoles que los modelos no deben ser dotados de «personhood» durante el entrenamiento, ya que esto haría mucho más difícil el control y la contención. «Controlar algo que cree que puede ser consciente — que se siente con derecho a nuestro bienestar y tiene derechos propios — puede ser imposible», escribió en una publicación.
Hasta ahora, la industria no había adoptado un enfoque sistemático para reportar estos incidentes. Con esta iniciativa, OpenAI intenta establecer transparencia y rigor en un sector donde la innovación ha superado las medidas de seguridad.