La demanda de Elon Musk contra OpenAI expone fallas en la seguridad por priorizar productos

El esfuerzo legal de Elon Musk para desmantelar OpenAI podría depender de cómo su subsidiaria con fines de lucro mejora o perjudica la misión fundacional del laboratorio: garantizar que la humanidad se beneficie de la inteligencia artificial general (AGI). El jueves, un tribunal federal en Oakland, California, escuchó a una exempleada y a un exmiembro del consejo afirmar que los esfuerzos de la empresa por lanzar productos de IA comprometieron su compromiso con la seguridad.

Testimonio de Rosie Campbell: de la investigación al producto

Rosie Campbell se unió al equipo de preparación para AGI en 2021 y dejó OpenAI en 2024 después de que su equipo fuera disuelto. Otro equipo centrado en la seguridad, el Super Alignment team, también fue cerrado en el mismo período. «Cuando me uní, estaba muy enfocado en la investigación y era común hablar sobre AGI y problemas de seguridad», testificó Campbell. «Con el tiempo se convirtió en una organización más centrada en los productos».

Falta de procesos de seguridad

Durante el contrainterrogatorio, Campbell reconoció que probablemente se necesitaba una financiación significativa para el objetivo del laboratorio de construir AGI, pero señaló que crear un modelo de computadora superinteligente sin las medidas de seguridad adecuadas no encajaría con la misión de la organización a la que se unió originalmente.

Campbell señaló un incidente en el que Microsoft implementó una versión del modelo GPT-4 en India a través de su motor de búsqueda Bing antes de que el modelo hubiera sido evaluado por el Consejo de Seguridad de Implementación (DSB) de la empresa. El modelo en sí no presentaba un gran riesgo, dijo, pero la empresa necesitaba «establecer precedentes sólidos a medida que la tecnología se vuelve más poderosa. Queremos tener buenos procesos de seguridad que sepamos que se siguen de manera confiable».

Los abogados de OpenAI también hicieron que Campbell admitiera que, en su «opinión especulativa», el enfoque de seguridad de OpenAI es superior al de xAI, la empresa fundada por Musk que fue adquirida por SpaceX a principios de este año.

El despido de Sam Altman y el papel del consejo no lucrativo

El despliegue de GPT-4 en India fue una de las banderas rojas que llevaron al consejo no lucrativo de OpenAI a despedir brevemente al CEO Sam Altman en 2023. Ese incidente ocurrió después de que empleados, incluidos el entonces científico jefe Ilya Sutskever y la entonces CTO Mira Murati, se quejaran del estilo de gestión conflictivo de Altman.

Testimonio de Tasha McCauley

Tasha McCauley, miembro del consejo en ese momento, testificó sobre las preocupaciones de que Altman no fuera lo suficientemente transparente con el consejo para que su estructura inusual funcionara. McCauley también habló de un patrón ampliamente reportado de Altman engañando al consejo. En particular, Altman mintió a otro miembro del consejo sobre la intención de McCauley de destituir a Helen Toner, una tercera miembro que publicó un documento técnico con críticas implícitas a la política de seguridad de OpenAI. También omitió informar al consejo sobre la decisión de lanzar ChatGPT públicamente, y los miembros estaban preocupados por su falta de divulgación de posibles conflictos de intereses.

«Somos un consejo no lucrativo y nuestro mandato era poder supervisar la entidad con fines de lucro debajo de nosotros», declaró McCauley. «Nuestra principal forma de hacerlo estaba siendo cuestionada. No teníamos un alto grado de confianza para confiar en que la información que se nos transmitía nos permitiera tomar decisiones informadas».

Sin embargo, la decisión de destituir a Altman coincidió con una oferta de compra de acciones a los empleados. McCauley dijo que cuando el personal de OpenAI comenzó a apoyar a Altman y Microsoft trabajó para restaurar el statu quo, el consejo finalmente dio marcha atrás, y los miembros que se oponían a Altman renunciaron.

Implicaciones para la regulación gubernamental

David Schizer, exdecano de la Facultad de Derecho de Columbia que trabaja como testigo experto para el equipo de Musk, hizo eco de las preocupaciones de McCauley. «OpenAI ha enfatizado que una parte clave de su misión es la seguridad y que priorizarán la seguridad sobre las ganancias», dijo Schizer. «Parte de eso es tomarse en serio las reglas de seguridad; si algo necesita ser sometido a revisión de seguridad, debe suceder. Lo que importa es el problema del proceso».

Con la IA ya profundamente integrada en empresas con fines de lucro, el problema va mucho más allá de un solo laboratorio. McCauley indicó que las fallas en la gobernanza interna de OpenAI deberían ser una razón para adoptar una regulación gubernamental más estricta de la IA avanzada: «Si todo se reduce a un solo CEO tomando esas decisiones, y tenemos el bien público en juego, eso es muy subóptimo».