夢創庫Books

レビュー

「〔ユドコウスキーとソアレスの〕AIの潜在的な落とし穴に対する診断を読めば、彼らがこの問題に持続的に関与してきたことがわかる。……彼らはシリコンバレーの大物たちに対して、『それはたわごとだ』と堂々と指摘する責任感を持ち、イーロン・マスクやメタAIの主任科学者ヤン・ルカンが真のリスクを過小評価していると批判する」――サンフランシスコ・クロニクル紙



「『誰かが超知能AIをつくれば人類は絶滅する』は、超人的AIがほぼ確実に人類の全滅をもたらすという説得力ある主張を展開している。世界各国の政府はそのリスクを認識し、集団的かつ実効性のある行動を取らなくてはならない」――ジョン・ウルフスタール（元大統領国家安全保障担当特別補佐官）



「ソアレスとユドコウスキーは、ますます強力になるAIに向かう現在の道筋がいかに危険であるかを、平易でわかりやすい言葉で説明してくれる」――エメット・シア（元OpenAI暫定CEO）



「政策立案者、ジャーナリスト、研究者、そして一般市民にとって必読の書。巧みに書かれた画期的なテキストである本書は、あらゆるレベルでAIについて議論するための重要な出発点となる」――バート・セルマン（コーネル大学コンピュータサイエンス教授）



「AI開発の現在の軌跡が人類の絶滅につながるという見解には懐疑的だが、それは私自身の想像力が欠けているからなのかもしれない。AIの指数関数的な変化のペースを考えれば、最悪の事態に備えて賢明な措置を講じるのに、今ほど適した時はない。著者たちは、グローバルなガードレールとリスク軽減に関する重要な提言を行っており、それは真剣に検討するに値する」――ジョン（ジャック）・N・T・シャナハン空軍中将（退役）、国防総省統合AI センター初代ディレクター



「『誰かが超知能AIをつくれば人類は絶滅する』は、単なる警鐘ではなく、明確さと緊迫感をもって鳴り響く火災報知器だ。ユドコウスキーとソアレスは歯に衣を着せずに主張する――制御されない超人的AIは実存的な脅威をもたらす。人類の未来は今この瞬間の行動にかかっているという、冷静な警告である」――マーク・ラファロ（俳優）



「あらゆる点で真剣な本だ。ユドコウスキーとソアレスの身の毛もよだつような分析によれば、超高度なAIは人類を必要とせず、私たちを排除する十分な能力を持つだろう。『誰かが超知能AIをつくれば人類は絶滅する』は、自己絶滅の瀬戸際から一歩引くよう人類に訴える、雄弁かつ切実な嘆願である」――フィオナ・ヒル（元ホワイトハウス国家安全保障会議上級部長）



「明確な呼びかけだ……未来に関心を持つすべての人は、ユドコウスキーとソアレスの言葉を読む義務がある」――ガーディアン紙



「本書は、AIの新たなリスクが世界を劇的に変貌させ得るという、示唆に富むシナリオを描き出している。こうした可能性を探ることで、人類が集団としてけっして見過ごすわけにはいかない、重大なリスクと問いが浮かび上がってくる」――ヨシュア・ベンジオ（チューリング賞受賞者、モントリオール大学正教授、LawZero共同代表・科学ディレクター、ミラ－ケベックAI研究所創設者・科学顧問）



「高度に発達したAIが人類にもたらしうる実存的リスクについて、明快に書かれた説得力ある論考。推薦する」――ベン・バーナンキ（ノーベル賞受賞者、元連邦準備制度理事会議長）



「私たちが『人類の最終的なボス』となる超知能機械を開発したいという抗いがたい衝動に立ち向かい、生き延びて語り継ぐ方法を教えてくれる、最も信頼でき、標準となる本」――ヤーン・タリン（Skype共同創設者、慈善家、実存的リスク研究センター共同創設者）



「ASIは望むと望まざるとにかかわらず開発される。もはや止めるには遅すぎるが、この便利なサバイバルガイドを手元に置いて、崩壊が始まる前に真のガードレールを要求し始める時間はまだある」――パットン・オズワルト（俳優）



「本書を読み終えた頃には、政府がAIに対してより慎重なアプローチ――今まさに生み出されつつある、文明を変えうる巨大なものを畏れるアプローチ――に直ちに転換する必要があることを、すっかり確信しているはずだ。未来を気にかける地球上のすべての人に、本書を読んで議論してもらいたい」――スコット・アーロンソン（テキサス大学オースティン校、シュルンベルジェ百周年記念コンピュータサイエンス講座担当教授）



「魅惑的で、どうしようもないほど恐ろしい本だ……本書はAI企業による野放しな超人的AI開発競争が壊滅的な結果をもたらすと主張し、それが人類の絶滅につながりうる理論的シナリオを示し、この破滅的な軌跡を変えるために何ができるかを提言する……ユドコウスキーとソアレスは、人類が『火遊び』をしているという、きわめて説得力の高い主張を展開する」――全米退職者協会



「真剣に取り組む価値のある、いや、取り組まなければならない、きわめて重要な問題である。読者は本書の予測や処方箋に賛同する必要もないし、テクノロジーやAIに精通している必要もない。誰にとっても魅力的でわかりやすく、かつ示唆に富んだ書」――スザンヌ・スポールディング（元国土安全保障省次官補）



「私がこれまでの歳月に読んできた中で、最も重要な本だ。世界中の政治指導者や企業トップのもとへ本書を持参して、読み終えるまで見守り続けたい。AIとそのありうる軌跡を何十年も研究してきたユドコウスキーとソアレスは、災害の中へ眠ったまま歩を進めていく人類を覚醒させるために、大きな警告を発している」――スティーヴン・フライ（俳優）



「この10年で最重要の書。現代の最も明晰な２人の思想家が書いた、この心を奪われる、ページをめくる手が止まらない本は、人間よりも賢い機械をつくる競争が軍拡競争などではなく、希望的観測に駆り立てられた『自滅競争』であることを明らかにする」――マックス・テグマーク（MIT教授、『LIFE 3.0――人工知能時代に人間であるということ』著者）



「AIリスクに関する主張は広告宣伝として片づけられることが多いが、本書はそれを反証する。ユドコウスキーとソアレスはAI業界側の人間ではなく、業界が現在のかたちで存在するはるか前から、このリスクについて書き続けてきた。この不穏な本を読み、彼らが間違っている点があるというのなら、ぜひ教えてほしい」――ヒュー・プライス（ケンブリッジ大学トリニティ・カレッジ、バートランド・ラッセル名誉教授）



「誰もが本書を読むべきだ。あなた――そう、今これを読んでいるあなた――がいつかしぶしぶこう認める確率は70%だ。『まだチャンスがあったうちに、誰もがユドコウスキーとソアレスの言葉に耳を傾けるべきだった』と」――ダニエル・ココタイロ（OpenAIの内部告発者、AIフューチャーズ・プロジェクト事務局長）



「『誰かが超知能AIをつくれば人類は絶滅する』は、現代の最も重要な本になるだろう。ユドコウスキーとソアレスは、人類が超知能への移行を安全に行う準備がまだまったくできていないと考え、今の状態では『絶滅行きの急行列車』に乗っているようなものだと見ている。寓話と明快な解説を駆使し、確固たる論拠を示すことによって、まだ間に合ううちに自分たちを救おうという切迫した訴えを伝えている」――ティム・アーバン（Wait But Why共同創設者）



「信頼性と明快さ、確信をもって書かれた、冷厳かつ緊急の警告。手遅れになる前に人工知能の実存的リスクと向き合うよう、テクノロジー関係者と政策立案者、一般市民に促す、刺激的な本である。未来を気にかけるすべての人にとっての必読書」――エマ・スカイ（イェール大学ジャクソン国際問題大学院上級フェロー）



「『誰かが超知能AIをつくれば人類は絶滅する』は鋭く真剣に考えさせられる一冊だ。私は責任あるAI政策の推進に長年携わってきた者として、これを間違えた場合の恐ろしさを警告する、不可欠な書だと感じている。ユドコウスキーとソアレスは明快さと緊迫感、誠実さをもって主張を展開する」――ジョエリー・フィッシャー（SAG-AFTRA全国書記財務担当）



「本書はテクノロジーのユートピアとディストピアという、歴史上最も重大な対立構造について卓越した洞察を示し、超人的AIが人類を絶滅させるのをどうしたら防げるか、防ぐべきかを示してくれる。ユドコウスキーとソアレスが語る、過去の災害の先例（たとえば四エチル鉛ガソリンとフロンという、２つの環境上の悪夢を生み出した発明家）に関する印象的な物語を読めば、なぜ一流の思想家たちがみずから生み出す惨事を見抜けないことが多いのかがはっきりわかるだろう」――ジョージ・チャーチ（ハーバード大学ワイス研究所、合成生物学創設中核教員・リード）



「AIの現実のリスクに関する、冷静かつ非常に読みやすい本だ。懐疑論者も信奉者も同様に、著者たちの主張を理解した上で、AIの未来が害よりも益をもたらすものになるよう、ともに取り組む必要がある」――ブルース・シュナイアー（ハーバード・ケネディスクール講師、『暗号の秘密とウソ』著者）



「シリコンバレーは、それを『不可避』と呼ぶ。だがあなたの生存本能は、けっしてそうではないことを知っているはずだ。人類は莫大な資金を費やして、みずからの『削除キー』を――眠らず、止まらず、完璧に無関心な、まばたきしない知能を――生み出そうとしている。AIに驚嘆する時代は終わった。これは私たちへの警告だ。今日読もう。明日広めよう。ガードレールを要求しよう。私は人類に賭け続けるが、そのためにはまず皆が目覚めなくてはならない」――R・P・エディ（元ホワイトハウス国家安全保障会議ディレクター）



「世界で最も重要なテーマに関する説得力ある入門書。汎用人工知能はほんの数年先に迫っている。危険水準が急上昇し始めたまさにこのタイミングで書かれ、その意味するところを真剣に受け止めた数少ない本だ」――スコット・アレクザンダー（Astral Codex Ten 創設者）



「この本を読むと、とても感情が揺さぶられる。私たちは今、人類が支配的な種である最後の時代に生きている。でもソアレスとユドコウスキーが私たちの側にいて、この事実を説明し、自分たちの未来について決断を下すためのわずかな時間を無駄にしないよう、気づかせてくれる。これは人類にとって幸運なことだ」――グライムス（ミュージシャン）



「人工超知能の創造を防ぐための緊急の呼びかけ……真剣に受け止めるべき、恐るべき警告である」――パブリッシャーズ・ウィークリー



「AIリスク問題について私が今まで読んだ中で、最も率直でわかりやすい説明の書」――イーシャン・ウォン（元Reddit CEO）



「AIが解き放ちうる、急速に迫りつつある惨禍を警告する、タイムリーな恐るべき教示である――私たちは手綱を握り、制御を取り戻さなくてはならない」――カーカス誌



「人類がガードレールなしに機械超知能をつくれば、仕事や芸術だけでなく、すべてを危険にさらすことになる。本書は何も誇張することなく、ただただ真実を語っている。今すぐ行動を起こさなければ、次のチャンスは来ないかもしれない」――フランシス・フィッシャー（俳優）



「コンピュータ科学者によって『つくられるのではなく育てられる』超知能を持つ人工頭脳に内在する危険性を、明快かつ平易な言葉で説明している。AIを規制すべきかどうか、どのように規制すべきかをめぐ、現在進行中の議論を理解し、それに加わりたいと願う人にとって、すぐに読める価値ある一冊だ」――ジョーン・ファイゲンバウム（イェール大学、グレース・マレー・ホッパー記念コンピュータサイエンス教授）



「技術進歩の加速に非常に熱心な人々さえもが、なぜ超知能AIを特別に危険なものと見なしているのか、その基本的な論拠を理解するために読む価値のある良書」――ヴィタリク・ブテリン（イーサリアム共同創設者）



「私たちを皆殺しにしうる思考機械をつくろうとする取り組みの狂気と傲慢さをとらえた衝撃的な書。だが運命は決まったわけではない。著者たちが主張するように、『命あるところに希望はある』のだ」――ドロシー・スー・コブル（ラトガーズ大学、労働学部名誉特別教授）



「『誰かが超知能AIをつくれば人類は絶滅する』は、無謀なAI開発が人類に突きつける深刻な危険を説明する。緊急性があり、よく調査された、説得力のある警告だ」――アレックス・ウィンター（俳優・映画製作者）



「AIがもたらすリスクを評価するためには、最悪のシナリオを理解する必要がある。本書は汎用人工知能を求める人類の探求が、いかに深刻な誤りに至りうるかを、きわめて明快かつ厳密に論じた書だ。警告はした！」――クリストファー・クラーク（ケンブリッジ大学、歴史学王立教授）



「かつてSFの領域にすぎなかった超知能が、今やほぼ目前に迫っている。それが到来したときに何が起こるのか、確かなことはわからないが、業界が現実に目を背けるなかで、私たちが考えなくてはならない難しい問いを本書が提起してくれることに一抹の安堵を覚える」――リヴ・ボーリー（慈善家、ポーカーチャンピオン）



「誰もが手に入れて読むべき、画期的な書だ」――スティーヴ・バノン（The War Room）



「未来を形づくるすべての人にとっての火災報知器。結論に賛同してもしなくても、本書は真剣に読み、熟慮するに値する」――ブックリスト（星付きレビュー）



「驚くほど読みやすく、ぞっとするほど説得力がある」――ガーディアン紙

著者について

■著者紹介

エリーザー・ユドコウスキー　Eliezer Yudkowsky

1979年生まれ。機械知能研究所（MIRI）の創設者。人工知能を人間の意図や価値観に整合させる「AIアライメント」分野の草分け的存在であり、「フレンドリーAI」概念の提唱などで知られる。高校や大学に通わず独力で学び、2000年、MIRIの前身となる「AIのためのシンギュラリティ研究所」を創設（2013年に改称）。当初は人間の知能を超えるAIの実現を目指すが、まもなくそのリスクの重大さを認識するようになる。2006年から2012年にかけてピーター・ティール、レイ・カーツワイルとともに「シンギュラリティサミット」を開催。人間の合理性とAIの安全性を主要なトピックとするオンラインフォーラムLessWrongを2009年に設立。2010年から2015年にかけてウェブ上で発表した「ハリー・ポッターと合理主義の方法」は異色のファン・フィクションとして絶大な人気を誇る。2023年、タイム誌「AI分野で最も影響力のある100人」に選出。

ネイト・ソアレス　Nate Soares

1989年生まれ。MIRI所長。ジョージワシントン大学でコンピュータサイエンスと経済学を学んだ後、マイクロソフトやグーグルでのエンジニア職などを経て、2014年にMIRIに参画。2023年より現職。



■訳者略歴

櫻井祐子　Yuko Sakurai

翻訳家。京都大学経済学部卒。大手都市銀行在籍中にオックスフォード大学大学院で経営学修士号を取得。訳書にマグレッタ『〔エッセンシャル版〕マイケル・ポーターの競争戦略』、アセモグル＆ロビンソン『自由と国家』（以上早川書房刊）、キーチ・へイギー『サム・アルトマン』、シュミット他『1兆ドルコーチ』、ロス『Who Gets What』ほか多数。