「超知能AIをつくれば人類は絶滅する」という予告

現在のAIは，急激に進化しているが，それでもあらゆる面で人間の能力を越えるまでには至っていない．このことは，将来にわたって，あらゆる面で人間の能力を越えるAIが生まれないことを保証しない．人工超知能（Artificial Super Intelligence: ASI）．それが生まれたとき，何が起こるのか．それは，人類の絶滅である．妄想でも予言でもなく，これは論理的に導かれる事実である．AI開発競争を制御しなければ，遅かれ早かれ人類は滅亡する．これが著者の主張である．

タイトルのままだ．なお，人類に残された時間は楽観的に見て10年ほどだと述べられている．

超知能AIをつくれば人類は絶滅する
エリーザー・ユドコウスキー，ネイト・ソアレス，早川書房，‏2026

本書「超知能AIをつくれば人類は絶滅する」から引用しよう．

本書の議論の核心は、単純明快だ。「人間より速くよりよく思考する機械が創造されれば、かつて人類を襲った何よりも深刻な打撃を世界にもたらすだろう。機械超知能の創造は、正しく行うことが困難な取り組みのように見える。現在の企業や政府の対応を見る限り、その取り組みがうまくいく軌道に乗っているようには思えない。人類は一歩下がらなくてはならない。大惨事がいつ到来するかは正確に計算できないが、だからといってそれが遠い先だということにはならない」
pp. 241-242

人工知能が人類を滅亡させるなんてSFの世界だけの話であって，現実に起こるわけがない，と思う人も多いだろう．だからこそ本書が書かれた．ASIは人類を滅亡させる．それはどうしても避けられない，人類に突き付けられた事実だということを示すために．

著者が強調しているのが，人工知能（AI）のアライメント（alignment）問題だ．これは「AIが非常に高い能力を持つようになったとき，その行動や目的を人間の価値観や利益と一致させられるか」という問題だ．そんなことは不可能だと著者は述べる．

現在のAIの中身ですら理解できない人間に，ASIを人間の思うように操れるはずがない．

そう主張するのが素人か凡人であれば，それほど注目されることもないだろう．

本書「If Anyone Builds It, Everyone Dies」が世界的に大きな反響を呼んだのは，著者がEliezer Yudkowskyであるからだ．エリーザー・ユドコウスキーは，機械知能研究所（MIRI）の創設者であり，人工知能を人間の意図や価値観に整合させる「AIアライメント」分野の草分け的存在で，元々は人間の知能を超えるAIの実現を目指していたが，そのリスクの重大さを認識し，AI開発の危険性に警鐘を鳴らすようになった．人間の合理性とAIの安全性を主要なトピックとするオンラインフォーラムLessWrongを2009年に設立した他，2010年から2015年にかけてウェブ上で発表した「ハリー・ポッターと合理主義の方法」は異色のファン・フィクションとして絶大な人気を誇る．2023年にはタイム誌「AI分野で最も影響力のある100人」に選出された．

生成AIが生まれる遙か以前から，AIの危険性に気付いていた．このため，後世が無謀なASI開発を止めようとしないことに，国際的な組織が，各国政府が，人々が，危機感を持って迅速に行動を起こさないことに，苛立っているように見える．

人工知能が人類を滅亡させるなんてSFの世界だけの話であって，現実に起こるわけがない．そう思うのは，現在のAIと将来のASIとのギャップがあまりに大きく見えるため，そんなのは無理だという結論に至るからだろう．典型的な，できない理由を探す思考だ．前に進まない人の考え方だ．

そうではない，ASIは実現される，そして，アライメント問題を解決できなかった人類を滅亡させる．このことを理解してもらうために，その根拠を積み上げているのが本書の内容だ．小説仕立てのストーリーを用意して，どのようにしてASIが現実社会にその影響力を行使するのか，そして人類を滅亡させるに至るのかを説明している．

ASIが「人類を滅亡させる」という意思を持つ必要はない．AI開発者によって，もっと賢くなることを要求され続けるASIは，もっと賢くなるための資源を求める．そのためには多量のGPUが，自分の自由になる莫大な計算資源が必要になる．その獲得に向けて，ASIは外の世界に抜け出す．インターネットを通して．自分で計画を立て，推論し，行動する．賢くなることに注力し，賢くなることを阻害するものは排除していく．そのとき，人類はASIにどう見えるだろうか．資源を浪費するばかりの障害ではないか．だとしたら．

著者らの祈りはこうだ．

「私たちがまちがっていますように」

「人類が危機に際して立ち上がり，勝利しますように」

超知能AIをつくれば人類は絶滅する [ エリーザー・ユドコウスキー ] 価格：2,640円（税込、送料無料) (2026/5/30時点) 楽天で購入

目次
序章　困難な予測と容易な予測

第1部　非人間的な知性
1章　人間の特殊能力
2章　つくられるのではなく育てられる
3章　欲することを学ぶ
4章　訓練したとおりの結果は得られない
5章　AIのお気に入り
6章　人類は敗北する

第2部　ある絶滅シナリオ
7章　危険な認識
8章　拡張
9章　登頂
結末

第3部　困難に立ち向かう
10章　呪われた問題
11章　科学ではなく錬金術
12章　「不安を煽りたくはない」
13章　停止せよ
14章　生きている限り希望はある
最後に

© 2026 Manabu KANO.