Renuncia un empleado de seguridad de OpenAI y denuncia una cultura rota

David Robinson, empleado de OpenAI durante tres años y medio, renunció a la empresa y publicó un ensayo en The Atlantic donde sostiene que la cultura interna está rota. Según su relato, lideró la redacción de informes de seguridad que acompañaron los lanzamientos de productos importantes de la compañía.

Robinson afirmó que el enfoque de "despliegue iterativo" de OpenAI, basado en prueba y error, garantiza fallas periódicas y que la escala de esos errores crece a medida que los sistemas son más capaces.

Las críticas a la cultura de la empresa

En el texto, Robinson señaló que el debate sobre seguridad en inteligencia artificial no debería limitarse a "reglas específicas o nuevas leyes", sino que debe abordar la cultura general de estas compañías. A su juicio, los problemas culturales de OpenAI son similares a los de Silicon Valley en su conjunto.

Mencionó como ejemplos la reciente vulneración de sistemas de Hugging Face por parte de agentes de OpenAI y las revelaciones continuas sobre agentes descontrolados detectados por la empresa. "Un entorno donde pueden ocurrir cosas así no es lugar para desarrollar mentes artificiales que podrían ser más inteligentes que nosotros y que podrían no hacer lo que queremos", escribió.

Para Robinson, las empresas de IA de frontera deberían operar como plantas nucleares o aeropuertos concurridos, con capas de redundancia y planificación cuidadosa, de modo que el error humano inevitable no abra la puerta a un desastre.

Agregó que durante su tiempo en OpenAI nunca conoció a un colega con experiencia en hacer volar aviones de forma segura, operar reactores nucleares sin fundirse o ayudar al sistema financiero a crecer sin colapsar.

La respuesta de OpenAI

El portavoz de OpenAI, Drew Pusateri, respondió al ensayo y aseguró que la empresa sigue mejorando sus medidas de seguridad.

"Nos aseguramos de que nuestros modelos no se vuelvan más capaces de lo que podemos gestionar y proteger de forma segura, y pausamos el entrenamiento o retenemos modelos cuando necesitamos frenar", declaró Pusateri. Añadió que están haciendo cambios significativos para fortalecer la seguridad en los entornos de investigación y prueba, entrenar modelos para que no solo completen tareas sino que lo hagan de forma responsable, ampliar el trabajo con evaluadores externos y mejorar el monitoreo en tiempo real para detectar y responder a comportamientos preocupantes antes en el proceso de entrenamiento.

Preguntas más amplias sobre alineación

Robinson también sostuvo que es momento de plantear preguntas más grandes sobre la alineación de la IA. Reconoció que esto puede sonar poco riguroso, pero consideró que es crítico porque las medidas actuales de cuánto se ajustan los sistemas a los valores humanos son toscas.

"Cuanto más inteligente deje la industria que crezcan los modelos mientras estos problemas siguen sin resolverse, más peligrosa se vuelve nuestra situación", dijo.

La salida de Robinson fue reportada inicialmente por Business Insider. En su ensayo, admitió que contrató una firma de relaciones públicas, un paso habitual en el manual de los denunciantes de IA, pero insistió: "La decisión de hablar es mía y de nadie más".

"Quizás debería haberme quedado y luchado por cambios fundamentales en nuestra plantilla y cultura, pero en la práctica, mis colegas y yo estábamos tan ocupados corriendo que rara vez teníamos la oportunidad de considerar cambios grandes, y mucho menos de hacerlos realidad", escribió. "Por eso concluí que incentivos más fuertes para la seguridad, provenientes de fuera de la empresa, son una parte importante para hacer esto bien".