OpenAI equipo de superalineaciónA , responsable de desarrollar formas de gobernar y dirigir sistemas de IA “superinteligentes”, se le prometió el 20% de los recursos informáticos de la empresa, según una persona de ese equipo. Pero las solicitudes de una fracción de ese cálculo a menudo eran rechazadas, lo que impedía que el equipo hiciera su trabajo.
Ese problema, entre otros, empujó a varios miembros del equipo a renunciar esta semana, incluido el codirector Jan Leike, un ex investigador de DeepMind que, mientras estuvo en OpenAI, estuvo involucrado en el desarrollo de ChatGPT, GPT-4 y el predecesor de ChatGPT, InstructGPT.
Leike hizo públicas algunas razones de su dimisión el viernes por la mañana. “He estado en desacuerdo con el liderazgo de OpenAI sobre las prioridades centrales de la compañía durante bastante tiempo, hasta que finalmente llegamos a un punto de ruptura”, escribió Leike en una serie de publicaciones en X. “Creo que deberíamos gastar mucho más de nuestro ancho de banda en prepararnos”. para las próximas generaciones de modelos, sobre seguridad, monitoreo, preparación, protección, robustez adversarial, (super)alineación, confidencialidad, impacto social y temas relacionados. Es bastante difícil solucionar estos problemas y me preocupa que no estemos en el camino correcto para llegar allí”.
OpenAI no respondió de inmediato a una solicitud de comentarios sobre los recursos prometidos y asignados a ese equipo.
OpenAI formó el equipo Superalignment en julio pasado, y estaba dirigido por Leike y el cofundador de OpenAI, Ilya Sutskever. quien también renunció a la empresa esta semana. Tenía el ambicioso objetivo de resolver los principales desafíos técnicos del control de la IA superinteligente en los próximos cuatro años. Junto con científicos e ingenieros de la división de alineación anterior de OpenAI, así como con investigadores de otras organizaciones de la empresa, el equipo debía contribuir con investigaciones que informaran sobre la seguridad de los modelos internos y no OpenAI y, a través de iniciativas que incluyen un programa de subvenciones para investigación. , solicitar y compartir trabajo con la industria de la IA en general.
El equipo de Superalignment logró publicar un conjunto de investigaciones sobre seguridad y canalizar millones de dólares en subvenciones a investigadores externos. Pero, a medida que los lanzamientos de productos comenzaron a consumir una cantidad cada vez mayor del ancho de banda del liderazgo de OpenAI, el equipo de Superalignment se vio obligado a luchar por más inversiones iniciales, inversiones que creía que eran críticas para la misión declarada de la compañía de desarrollar IA superinteligente para el beneficio de toda la humanidad. .
“Construir máquinas más inteligentes que las humanas es una tarea intrínsecamente peligrosa”, continuó Leike. “Pero en los últimos años, la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos brillantes”.
La batalla de Sutskever con el director ejecutivo de OpenAI, Sam Altman, sirvió como una importante distracción adicional.
Sutskever, junto con la antigua junta directiva de OpenAI, tomó medidas para despedir abruptamente a Altman a fines del año pasado por preocupaciones de que Altman no había sido “consistentemente sincero” con los miembros de la junta. Bajo la presión de los inversores de OpenAI, incluido Microsoft, y muchos de los propios empleados de la empresa, Altman finalmente fue reintegrado, gran parte de la junta directiva renunció y Sutskever según se informa nunca volvió a trabajar.
Según la fuente, Sutskever jugó un papel decisivo para el equipo de Superalignment, no solo contribuyendo con la investigación sino también sirviendo como puente hacia otras divisiones dentro de OpenAI. También actuaría como una especie de embajador, destacando la importancia del trabajo del equipo entre los tomadores de decisiones clave de OpenAI.
Después de la partida de Leike, Altman escribió en X que estaba de acuerdo en que hay “mucho más por hacer” y que están “comprometidos a hacerlo”. Insinuó una explicación más larga, que el cofundador Greg Brockman proporcionó el sábado por la mañana:
Aunque hay poco concreto en la respuesta de Brockman en cuanto a políticas o compromisos, dijo que “necesitamos tener un circuito de retroalimentación muy estrecho, pruebas rigurosas, una consideración cuidadosa en cada paso, seguridad de clase mundial y armonía de seguridad y capacidades. “
Tras las salidas de Leike y Sutskever, John Schulman, otro cofundador de OpenAI, pasó a encabezar el tipo de trabajo que estaba haciendo el equipo de Superalignment, pero ya no habrá un equipo dedicado; en cambio, será un equipo vagamente asociado. grupo de investigadores integrados en divisiones de toda la empresa. Un portavoz de OpenAI lo describió como “integrar [the team] mas profundo.”
El temor es que, como resultado, el desarrollo de la IA de OpenAI no esté tan centrado en la seguridad como podría haber estado.
¡Estamos lanzando un boletín informativo sobre IA! Inscribirse aquí para comenzar a recibirlo en sus bandejas de entrada el 5 de junio.
