PauseAI - Enciclopedia

PauseAI es un movimiento político global fundado en los Países Bajos con el objetivo declarado de lograr una coordinación global para detener el desarrollo de sistemas de inteligencia artificial más poderosos que GPT-4, al menos hasta que se sepa cómo construirlos de manera segura y mantenerlos bajo control democrático. El movimiento fue establecido en Utrecht en mayo de 2023 por el empresario de software Joep Meindertsma.

Propuesta
El objetivo declarado de PauseAI es “implementar una pausa en el entrenamiento de sistemas de inteligencia artificial más poderosos que GPT-4”. Su sitio web enumera algunos pasos propuestos para alcanzar este objetivo:

- Establecer una agencia internacional de seguridad en inteligencia artificial, similar a la IAEA.
- Permitir solo el entrenamiento de sistemas de inteligencia artificial general más poderosos que GPT-4 si su seguridad puede garantizarse.
- Permitir solo la implementación de modelos después de que no presenten capacidades peligrosas.

Contexto
Durante la década de 2010 y principios de la de 2020, se estaba llevando a cabo un rápido mejoramiento en las capacidades de los modelos de inteligencia artificial, conocido como el “boom” de la IA, que incluyó el lanzamiento de los modelos de lenguaje grandes GPT-3, su sucesor más potente GPT-4, y los modelos de generación de imágenes Midjourney y DALL-E. Esto llevó a un aumento en las preocupaciones sobre los riesgos de la IA avanzada, lo que llevó al Instituto del Futuro de la Vida a emitir una carta abierta pidiendo “a todos los laboratorios de IA que paren inmediatamente, al menos por seis meses, el entrenamiento de sistemas de IA más poderosos que GPT-4”. La carta fue firmada por miles de investigadores de IA y directivos de la industria, como Yoshua Bengio, Stuart Russell y Elon Musk.

Historia
El fundador Joep Meindertsma comenzó a preocuparse por el riesgo existencial del inteligencia general artificial después de leer el libro de 2014 del filósofo Nick Bostrom Superintelligence: Paths, Dangers, Strategies. Fundó PauseAI en mayo de 2023, poniendo en pausa su trabajo como director ejecutivo de una empresa de software. Meindertsma afirmó que la tasa de progreso en la investigación de alineación de IA está por detrás del progreso en las capacidades de IA, y dijo “hay una oportunidad de que nos enfrentemos a la extinción en un corto espacio de tiempo”. Como tal, sintió la urgencia de organizar a la gente para actuar.

La primera acción pública de PauseAI fue protestar frente a la oficina de lobby de Microsoft en Bruselas en mayo de 2023 durante un evento sobre inteligencia artificial. En noviembre del mismo año, protestaron afuera del primer Foro de Seguridad en IA en Bletchley Park. La Declaración de Bletchley firmada en el foro, que reconocía el potencial de riesgos catastróficos procedentes de la IA, fue percibida por Meindertsma como un pequeño primer paso. Pero, argumentó que se necesitan “tratados internacionales vinculantes”.提到了之前的全球协议的例子，如蒙特利尔协议和禁止致盲激光武器的条约。

En febrero de 2024, miembros de PauseAI se reunieron frente a las oficinas centrales de OpenAI en San Francisco, en parte debido al cambio en la política de uso de OpenAI que prohibía el uso de sus modelos para fines militares.

El 13 de mayo de 2024, se llevaron a cabo protestas en trece países antes de la Cumbre de IA de Seúl, incluyendo Estados Unidos, el Reino Unido, Brasil, Alemania, Australia y Noruega. Meindertsma dijo que aquellos que asistieron a la cumbre “necesitan darse cuenta de que son los únicos que tienen el poder de detener esta carrera”. Los manifestantes en San Francisco sostenían carteles que decían “Cuando en duda, pausa” y “Deja tu trabajo en OpenAI. Confía en tu conciencia”. Jan Leike, jefe del equipo de “superalineación” en OpenAI, renunció dos días después debido a su creencia de que “la cultura y los procesos de seguridad” se habían dejado de lado en favor de “productos brillantes”.

Véase también
Regulación de la inteligencia artificial
Pausar experimentos gigantes de IA: carta abierta

Referencias


Enlaces externos
Sitio web oficial