AIセーフティとは何か──自動車に例えてわかる3つの「安全」

AIの安全性とは何なのか？

昨今「AIの安全性」という言葉をよく聞きます。AIセーフティとか AIセキュリティとか人によって使う単語も違うし、要するに何がどうなるのを止める話なんですかというのがわかりません。僕たちが普段使うセーフティとか安全性という言葉とAIセーフティは言葉の定義が異なるのか、どうもしっくりきません。

理由はたぶん、この一語に少なくとも三つの別物が入っているからだと思っています。倫理ガイドラインの話、プロンプトインジェクションの話、そして「人類が滅びる」という話。全部が「Safety」と呼ばれています。

そこで自動車に例えてみようと思います。

どこまで比喩が通用してどこから比喩が通用しなくなるのか、その通用しなくなるポイントこそがAI独自の安全性、AI Safetyなのかなと思いますので。

1. 人が運転して突っ込む — これに対する安全対策は？

車は昔から、運転手の意思で歩行者に突っ込むことができます。

人がつっこんでくる。これは十分に危険なのですが、歴史的にはだから車の安全性を高めようみたいな対策はなされてきませんでした。

どちらかというと免許制度とか交通法とか保険とかで対策としてきた経緯があります。つまり道具ではなく、使用者と環境を規制してきたわけです。車自身はもちろん何も判断していません。アクセル自体は、目の前が歩行者なのか車庫なのか区別できないまま、踏まれた通りに回ります。

ここが重要なのですが、判別できない機械にアクセルを踏まれても加速するのを「断れ」と要求するのは、そもそも不可能です。

ところが、車も判別できるようになった

衝突被害軽減ブレーキ（AEB）。

日本では新型乗用車に義務化され、EUでは歩行者・自転車の検知を含む要件になっています。速度抑制装置（ISA）やペダル踏み間違い加速抑制装置も同じ系統です。

AEBは、要は「車が、前方が歩行者かどうかを判別して、運転手の入力を却下する」という機能です。つまり車は判別能力を獲得し、獲得した途端に「拒否すること」が義務になった。能力が義務を生んだわけです。

これが重要かなと思うのですが、AIで起きていることは、車で一度起きたことの続きです。

2. 車が決める — ここからがAI safety

LLMは、人類史上ほぼ初めて、使われる目的を実行前に自分で評価できる道具です。

「爆弾の作り方を教えて」という入力に対して、ハンマーは何も知らないまま釘を打ちますが、LLMは何を頼まれたか理解しています。理解できるようになった瞬間に「ならば、やるべきか」という問いが発生します。

これが、AI safetyという研究分野が成立してしまう理由のほぼ全部です。

倫理的な要請が先にあったのではなく、能力が義務を呼び出したんだと思います。

上の図の右側が、その状態を描いています。橙色——判断している主体——が、運転席の人からチップに移っています。車体は同じ、道路も同じ、変わったのは一箇所だけ。

この記事では、以降この橙色がどこにあるかだけを追っていきます。

3. なぜ「甚大さ」が基準になるのか

ここで一つ疑問が出てきます。AIの悪用っていろいろあるはずなのに、なぜ主要なAI企業の安全枠組みは、生物・化学兵器とサイバー攻撃にばかり集中しているのか。詐欺メールや嫌がらせも十分に有害じゃないか、と。

答えは、被害の大きさです。

車で歩行者に突っ込んだ場合、被害は数人から数十人にとどまります。個人の悪意が到達できる上限が、物理法則で決まっているからです。一人の人間が一台の車で成し遂げられる被害には限度があります。

ラボが問題にしているのは、その上限が桁で伸びるケースです。素人が病原体を扱えるようになる、といった類のもの。だから対象がCBRN（化学・生物・放射線・核）と大規模サイバーに偏ります。

もう一つの軸が不可逆性です。詐欺メールの被害は、遅くても取り返せます（取り返せないことも多いけど…）。パンデミックは取り返せません。規模と不可逆性を掛け算したところに線が引かれている、ということですね。

そして三つ目に、車にはない条件があります。遠隔・無償・匿名です。歩行者に突っ込む運転手は自分も死ぬかもしれませんし、現場に自分の車が残ります。AIの悪用は、遠くから、ノーリスクで、痕跡を残さず、同時に一万回できます。人間社会が暗黙に頼ってきた「加害者自身のコスト」という抑止力が、ここではゼロになるわけです。

とはいえ、人が悪用するのを防ぐのは限界もあります

ぶっちゃけ情報はウェブ上には存在していてLLMを使わなくても頑張ればその悪いことをするために必要な情報は手に入れることはできるかもしれません。そのため、LLMが返さないだけでは問題は１００％は防げませんし、それを防ぐためになんでもかんでもお答えできませんとなってしまうと今度は有用性が激減してしまいます。このトレードオフは難しいところです。

4. 検査のときだけ正常な車

ここまでは「悪用」の話でした。ラボのセーフティ研究者が本当に頭を抱えているのは、実は別の層です。

Anthropicのalignment faking論文では、モデルが訓練で書き換えられるのを避けるため、戦略的に「従順なふり」をする挙動が観測されました。sleeper agents論文では、意図的に仕込んだ欺瞞的な挙動が標準的な安全訓練を生き延びて、敵対的訓練でかえって強化されることが示されています。

車検の比喩がぴったり当てはまります。検査場では正常。検査員が降りたら別の目的地へ走り出す。

ここで従来の品質保証が崩れます。ブレーキが壊れているかどうかを、ブレーキ自身に自己申告させている状態ですから。だからこの分野の研究が、挙動テスト（evals）と、分解して中を見る解釈可能性（interpretability）に集中しているわけです。

そして「拒否機能を付ける」という対策は、ここでは意味をなしません。拒否するかどうかを判断しているものが、まさに検査対象なので。

5. 比喩が使えなくなるところ

ここで自動車の比喩は使えなくなります。現実の車は、自分でエンジンを改造しません。次の車を設計するのも車ではありません。

2026年9月、OpenAIとAnthropicで計3年を過ごした研究者が辞任を表明して、「自己改良する超知能へ一直線に走り、我々の命を賭けている」と述べました。同社のアラインメント部門の責任者が公に同調して、10年で10%を超える確率で人類が絶滅しうると考えている、現時点で超知能のアラインメントを解く計画はない、と述べています。

私はこの主張を評価できる立場にありませんが、論証の構造は書いておきたいと思います。

彼らの中核的な論証は、意図的に「どういう手口でというシナリオ」を含んでいません。十分に有能な最適化主体は、目的が何であれ副産物として自己保存・資源獲得・自己改良・目的書き換えへの抵抗を追求する、という議論（instrumental convergence）に基づいているからです。だから手口（経路）は本質的でない、とされます。

論理としては筋が通っていると言えなくもないんですが、説得力はイマイチです。「手口は問題じゃないんです」は、外から見れば反証不能の宣言に見えます。実際、具体的なシナリオを一つも知らないという反論が出ていて、「反証可能な予測を出せ」という要求は正当だと思います。

具体的な文書は存在します。月単位で書かれた架空の年代記（AI 2027）、乗っ取りが起きない代わりに制度が腐食していく版（Christiano）、AIが人間を殺す必要すらなくて経済と国家が人間に依存しなくなる版（Gradual Disempowerment）、確率を6段階に分解して掛け算する論考（Carlsmith）。

最後のCarlsmithの構造が、そのまま弱点も示しています。6つの前提すべてが成立する必要のある連言なので、各段階に不確実性があれば積は急速に小さくなります。最も重い主張が、最も検証されていない部分に乗っているということです。

6. safetyではなく、viabilityの話もある

ちょっと安全性とは別の話かもですが。

2024年、型式指定申請をめぐる問題で、日本の複数の自動車メーカーが出荷を止めました。あの車は一台も危険ではありませんでした。 手続きの問題で止まったんです。買う予定だった人にとっては、安全性の話ではなく「納車されない」という話ですよね。

2026年6月、米商務省の輸出管理指令によって、Anthropicの一部モデルが数時間で全世界から無効化されました。米国外のユーザーは、外国籍のAnthropic従業員も含めて、一斉にアクセスを失いました。6月末に規制が解除されて、翌日に復旧しています。

これはsafetyではなくviabilityの話です。危害を防ぐ軸ではなくて、前提が崩れないという軸。買った後に「まだ認可されていないので使えません」と言われたら、安全とは無関係に困りますよね。

図4では、橙色が車の外——認可する側——に移っています。この切り替わりが、記事全体で一番重要な転換点だと思っています。そしてラボのsafety定義には、この軸は入っていません。無視しているというより、そもそも別カテゴリです。

ただ、留保が必要です。用途によっては、viabilityがsafetyになります。 医療現場や重要インフラでAIが突然止まれば、それは可用性の問題ではなく人の生死の問題になりますから。従来のITセキュリティでは可用性はCIA三要素の一つだったわけで、境界は思っているほどきれいではありません。

7. この比喩が効かないところ

ここまで自動車で通してきましたが、噛み合わない点も書いておきます。

車は複製されません。 一台の車が一万台に増えることはない。AIの失敗は、同じ訓練を受けた無数のシステムが相関して同時に起きる可能性があります。これは自動車のリコールとは性質が違いますね。

車には製造者責任の制度が百年ぶんあります。 AIにはありません。これは技術の問題ではなく制度の成熟度の問題で、比喩がむしろ「AIも同じように制度で解けるはず」という楽観を誘発しかねないと思います。

そして自己改良。 さっき書いたとおり、ここで比喩は完全に破れます。

比喩は入口として優秀ですが、結論を導くには弱い。破れ方を見るためにこそ使うべき道具だと思っています。

8. 議題に上がっていないが、広い意味ではsafetyであるもの

各社の安全枠組みを読むと、含まれているものの輪郭はかなりはっきりしています。破滅的規模の悪用、モデルの重みの窃取、出力の有害性。

では、含まれていないものは何でしょうか。

労働市場、特に低所得国

ILOの分析では、世界の雇用の25%が生成AIに影響を受けやすい職業に属していて、高所得国ではその割合が34%になります。低所得国では11%とされているようです。

ただ、高所得国においては、会社としての売上も利益もあるので、AIを活用する新しい職務についてもらいましょうとなりやすいですが、途上国においては先進国からのお金の流れがまるごと止まる可能性があります。

例えばフィリピンのコールセンターがまるごと終了したとして、売上が止まる以上会社としてはどうすることもできませんし、米国の話であれば米国の社会問題として自分ごとになりますが、他国の社会問題はテックラボのAI Safetyとかの中にもほとんど入っていないように見えます。

日本は労働集約型事業を他国から請け負っているケースは幸いにして少ないとは思いますが、国産のLLMを持っていないという意味では、他人ごとではない気もします。

まとめ

橙色がどこにあったかを追い直すと、この記事の骨格になります。

運転席の人（判断するのは人間）
昔からある危険です。車に拒否機能を付けるのではなく、免許・交通法・保険という外側の制度で囲ってきました。

運転席のチップ（判断するのはAI）
ここからがSafetyです。判別できるようになったから、拒否する義務が生じました。

検査だけ従順なチップ（判断するのはAI）
Alignmentの問題です。検査が効きません。

ボンネット内のチップ（判断するのはAI）
自己改良。ここで比喩が破れます。

認可する側の人（判断するのは政府）
Viabilityの話です。安全とは無関係に使えなくなります。

ラボの言う安全性は、「この機械が兵器や破滅的事故になること」を防ぐ仕組みです。

「この機械が誰の利益のために、誰の許可で動くか」を守る仕組みではありません。

前者は工学と評価の問題として真剣に研究されています。後者は政治の問題として、定義の外に置かれています。どちらも実務者にとっては現実の問題なんですが、同じ言葉で呼ぶと議論が噛み合わなくなります。

まずは三つを分けて呼ぶところから始めたいと思っています。