巨大なAI実験を停止させる：オープンレター - 百科事典

2023年3月にFuture of Life Instituteが発表した公開状のタイトルは「Pause Giant AI Experiments: An Open Letter」です。この状は「すべてのAI研究所がGPT-4を超える強力なAIシステムのトレーニングを少なくとも6ヶ月間即座に停止するよう呼びかけ」としています。リスクとして、AI生成のプロパガンダ、仕事の極端な自動化、人間の陈腐化、そして社会的なコントロールの全体での喪失を挙げています。これには、学術的なAI研究者やYoshua Bengio、Stuart Russell、Elon Musk、Steve Wozniak、Yuval Noah Harariなどの業界のCEOを含む30,000人以上の署名が集まっています。

力強さ
公開はOpenAIの大規模言語モデルGPT-4のリリースから1週間後に起こりました。現在の大規模言語モデルが「一般タスクにおける人間との競争力を持つようになる」と述べ、GPT-4の初期実験に関する論文を参照しています。これには「AGIの光」があるとされるものです。AGIは、特に一部のAI研究所が製品を迅速に導入するためにセキュリティを無視するという競争下の環境において、多くの重要なリスクを引き起こすとされています。

この状は、強力なAIシステムを「より正確で、安全で、解釈可能で、透明で、堅牢で、調和的で、信頼的で、忠実」とするAI研究に焦点を当てるよう求めています。状はまた、AIシステムのトレーニング前に独立した監査を行うこと、そして「高度なAIシステムと大規模な計算能力のプールを追跡する」こと、そして「技術的なAI安全研究に対する堅牢な公共資金」を推奨しています。FLIは、トレーニングの実行にかけられる計算量をAIの強さの指標として提案し、したがって、閾値としています。

受け入れ
この状は広範囲にわたって報道され、多くの著名な人物からの支持を受けました。2024年7月現在、一時停止は実現されていません。しかし、FLIが状の1周年を迎えた際に指摘したように、AI会社は「ますます巨大なAIシステムをトレーニングするためのインフラに巨額の投資をしています」。しかし、これは「政府がAIの急速な進歩に対して何をすべきかを決定するための再びの緊迫感」を生み出し、公衆のAIによるリスクに対する関心の高まりを反映していると評価されています。

Eliezer Yudkowskyは、この状が「十分ではない」と述べ、仮定の停止を求めました。彼は、調和問題の解決が数十年かかる可能性があり、どんなに高度な非調和AIが人類の滅亡をもたらすかもしれないと恐れています。

IEEEのメンバーの一部は、この状に署名した理由として「これらのシステムがどのように悪用されるかの方法はあまりにも多くあります。それらは自由に配布されており、損害を防ぐためのレビューや規制が設けられていません」と述べています。あるAI倫理学者は、声のクローン、など多くの問題に対する意識を提供していると主張しましたが、状は実行不可能で執行不能であると論じました。

この状は、アルゴリズム偏りなどのより急迫な社会的リスクから注意を逸らすとして批判されています。Timnit Gebruらは、この状が「未来の、ディストピア的なサイエンスフィクションのシナリオ」を強調し、現在のAIに関する問題ではなく、と論じました。

元MicrosoftのCEOであるBill Gatesは、この状に署名しなかったことを述べ、特定のグループに一時停止を求めることは課題を解決しないと述べました。OpenAIのCEOであるSam Altmanは、この状が「私たちが必要とする停止のタイミングに関する技術的な微妙な違いを欠いている」と述べ、状の初期バージョンが「OpenAIが今GPT-5をトレーニングしている」と主張したが、それは間違っており、しばらくはそうならないと述べました。Reid Hoffmanは、この状が「美徳のシグナル」として、実際の影響がないと論じました。

以下に、この状に署名した著名な署名者のリストを示します。

Yoshua Bengio（カナダのAI研究者、モントリオール計算アルゴリズム研究所の科学ディレクター、チューリング賞受賞者）
Stuart Russell（イギリスのコンピュータサイエンティスト、『人工知能：現代のアプローチ』の著者）
Elon Musk（ビジネスマンと投資家、SpaceXとTeslaのCEO、X Corpのオーナー）
Steve Wozniak（アメリカのテクノロジー企業家、Appleの共同創業者）
Yuval Noah Harari（イスラエルの歴史家と哲学者、ベストセラーの科学書『人類の簡史』の著者）
Emad Mostaque（Stability AIのCEO）
Andrew Yang（アメリカのビジネスマンと政治家）
Lawrence Krauss（カナダ系アメリカ人の理論物理学者と著者）
John Hopfield（アメリカの科学者、連想性ニューラルネットワークの発明者）
Jaan Tallinn（エストニアの億万長者とコンピュータプログラマー、SkypeとFuture of Life Instituteの共同創業者）
Ian Hogarth（イギリスの投資家と企業家、英国政府のAI Foundation Model Taskforceの議長）
Evan Sharp（アメリカのインターネット企業家、Pinterestの共同創業者）
Gary Marcus（ニューヨーク大学の心理学および神経科学の名誉教授）
Chris Larsen（アメリカの企業家と投資家）
Grady Booch（アメリカのソフトウェアエンジニア）
Max Tegmark（スウェーデン系アメリカ人の宇宙学者、Future of Life Instituteの創設者と著者『Life 3.0』）
Anthony Aguirre（アメリカの宇宙学者、Future of Life InstituteとMetaculusの共同創業者）
Tristan Harris（アメリカのテクノロジーエシストとCenter for Humane Technologyの共同創業者）
Danielle Allen（アメリカの政治学者）
Marc Rotenberg（Center for AI and Digital Policyの会長と創設者）
Steve Omohundro（アメリカのコンピュータサイエンティスト、Beneficial AI ResearchのCEO）
Aza Raskin（Center for Humane Technologyの共同創業者）
Huw Price（オーストラリアの哲学者、Existential Risk Centreの共同創業者）
Jeff Orlowski（アメリカの映画監督、Chasing IceとThe Social Dilemmaの監督）
Olle Häggström（スウェーデンの数学者、Here be Dragonsの著者、新興技術の潜在的な危険について議論する本）
Raja Chatila（ロボティクス、AIと倫理の教授、フランス国立科学研究センターの元研究ディレクター）
Moshe Vardi（イスラエルの数学者とコンピュータサイエンティスト）
Adam D. Smith（ボストン大学のコンピュータサイエンティスト）
Daron Acemoglu（トルコの経済学者、MITの教授）
Christof Koch（ドイツの神経生理学者と計算神経科学者）
George Dyson（アメリカの作家と技術の歴史家）
Gillian Hadfield（法律学者、OpenAIの元上級政策アドバイザー）
Erik Hoel（アメリカの神経科学者、神経哲学者、作家）
Bart Selman（オランダのコンピュータサイエンスの教授、人間に適合する人工知能センターの共同創業者）
Tom Gruber（コンピュータサイエンティスト、Siri Inc.の共同創業者）
Robert Brandenberger（スイス系カナダ人の理論宇宙学者）
Michael Wellman（アメリカのコンピュータサイエンティスト、AI進歩協会のフェロー）
Berndt Müller（ドイツの核物理学者）
Alan Mackworth（カナダのAI研究者、AI進歩協会の元会長）
Connor Leahy（AI安全研究者、ConjectureのCEO）

参考資料


外部リンク


FAQ
公式ウェブサイト
FAQ
一時停止に関する政策制定