AI事業者ガイドラインに書き加えられた「人間の判断を介在」原則
総務省と経済産業省が策定する「AI事業者ガイドライン」は、AIの開発・提供・利用に関わるすべての事業者が参照すべき指針として、2024年に初版が公表されたものです。法的拘束力はありませんが、国のAIガバナンスの方向性を示す文書として、企業の実務対応に大きな影響を与えています。
その第1.2版案が、3月12日の合同会議で公表されました。日経が報じたとおり、今回の改定はAI利用時のガバナンス実務にかなり踏み込んだ内容になっています。なかでも私の目を引いたのは、今回別添P148に追記された、このいかにも“和風 Human in the Loop”な一節です。
➢人間の判断を介在させる仕組みの構築
（中略）
☆ 判断が必要となる事項を重要度に応じて整理し、適切に対象を選定することが重要である
重要度に応じて判断対象を仕分け、必要なものだけ人間の判断を介在させる。全件を人に戻すのではなく、対象を選定する。これを読んだとき、真っ先に思い浮かんだのは、英国の大手法律事務所 Clifford Chance が2024年に導入した「信号機モデル」でした。
Clifford Chanceの重要度で仕分ける「信号機」モデル
Legal IT Insiderが2024年10月に取材した Clifford Chanceの事例は、まさにガイドラインが言う「重要度に応じて人間の判断を介在」を実装したものです。同事務所でリスク責任者を務めていた Bahare Heywoodは、こう考えていました。
Heywood's objective was to provide the IT and innovation team with the means to move forward on Gen AI projects without having to revert to the risk team in every instance, which would slow innovation down
毎回リスク部門に戻す運用では、イノベーションのスピードが落ちる。だから「差し戻さなくて済む仕組み」を作ることこそが、リスク責任者の仕事だった。統制を効かせることと、毎回人に判断をゆだねることはイコールではない、と。
そこで彼らが導入したのは、AIツールのリスクを3段階に分類する仕組みでした。グリーンなら自由に使ってよい。イエローなら条件付き。レッドなら使わない。全件を人に戻すのをやめる代わりに、どのリスク水準なら人が介入すべきかを仕分けました。この設計は、AI事業者ガイドラインの「重要度に応じて整理し、適切に対象を選定する」という考え方と、ほとんど同じです。
一見すると、うまくいきそうに聞こえます。重要度の高いものだけ人間に判断させればいい。簡単な話じゃないか。ところがここに一つ厄介な前提が隠れています。「重要なものを人間に振れば、人間がちゃんと判断してくれる」という前提です。
人間に振っても、人間はちゃんと判断できない── 再犯リスク評価ツール HARTの失敗
この前提が崩れた事例が、英国 Durham Constabulary が導入した再犯リスク評価ツール HART（Harm Assessment Risk Tool）です。制度の建て付けとしては、あくまで最終判断を行うのは警察官でした。つまり、一見すると、ちゃんと Human in the Loopです。しかも判断対象は「起訴か更生プログラムか」という、重要度の高い案件ばかりです。
ところが、欧州データ保護監督機関（EDPS）が2025年に公表した human oversight に関する文書は、このHART事例についてこう整理しています。
Although the final decision on custody or rehabilitation was left to officers, in practice they frequently followed the algorithm's recommendation. Observers noted that HART's predictive scores "guided decisions as to whether a suspect should be charged or released onto the Checkpoint rehabilitation programme"
最終判断は警察官に委ねられていたにもかかわらず、実際には警察官はアルゴリズムの推奨に「頻繁に従っていた」。HARTの予測スコアが、容疑者を起訴するか更生プログラムに送るかの判断を「導いていた」と。さらにEDPSは、この事例をずばり一言でこう断じました。
a classic case of automation bias
「自動化バイアスの典型例」。重要な判断だからこそ人間に委ねたはずなのに、その人間がAIに引きずられていた。最終ボタンを押す人が人間であることは、その判断がAIから独立していることを保証しないのです。
専門家でも逃れられない── マンモグラフィ読影研究が示した「巻き込まれ」
「専門的・学術的な訓練を積んだプロなら違うのでは？」──そう考えたくなるかもしれません。しかし、もう一つの研究が、その希望もかなり手厳しく打ち砕いています。AI支援付きマンモグラフィ読影に関する研究です。EDPS の同文書はこの研究を引きながら、こう要約しています。
Radiologists, regardless of experience level, are susceptible to automation bias when interpreting mammograms with AI assistance... In cases where the AI's suggestions were incorrect, radiologists' accuracy significantly declined
経験年数に関係なく、放射線科医はAI支援付きの読影で自動化バイアスの影響を受ける。AIの提案が誤っていた場面では、読影医の精度が「著しく低下した」。放射線学会 RSNA のプレスリリースは、さらに率直です。
Incorrect advice by an AI-based decision support system could impair the performance of radiologists
「AIベースの意思決定支援システムによる誤った助言は、放射線科医のパフォーマンスを損なう可能性がある」。しかも落ち方がなかなか極端で、経験の浅い読影医では正答率が約80%から20%未満に、15年以上の経験を持つベテラン読影医でも82%から45.5%に落ちたとされています。
We anticipated that inaccurate AI predictions would influence the decisions made by radiologists... but it was surprising to find that even highly experienced radiologists were adversely impacted by the AI system's judgments
「不正確なAI予測が放射線科医の判断に影響するだろうとは予測していた。しかし、高度な経験を持つ放射線科医までもがAIシステムの判断に悪影響を受けたことは驚きだった」。
ここで怖いのは、AIが間違えたことそれ自体ではありません。もっと怖いのは、AIが間違えたときに、人間まで一緒に間違えることです。しかもそれが、15年以上の専門的訓練を積んだプロフェッショナルにすら起きたわけです。
「AIの出力を人が確認するから安全」という考え方は、人間がAIの誤りを中立的に補正してくれるはずだという前提に立っています。でも実際には、人はAIの表示を見た瞬間に、その影響から自由ではいられないのです。最初に見せられた答えがアンカーになり、判断を引っ張られます。
"和風 Human in the Loop"にありがちな「人間の判断を介在」原則の死角
AI事業者ガイドラインの「判断が必要となる事項を重要度に応じて整理し、適切に対象を選定する」という方針は、仕分けの出発点としてはまっとうです。Clifford Chanceのように、信号機で分けて、グリーンは流す、レッドは止める、というのも合理的に見えます。
しかし、HARTとマンモグラフィの事例が突きつけているのは、レッドに仕分けて人間に渡したその先で、人間がAIに引きずられるという問題です。重要だから人間に振る。でもその人間は、AIの出力を見た瞬間に、もう中立ではいられない。最初に見せられた答えがアンカーになり、判断を引っ張られます。むしろ、人を一枚かませることで安心した気になり、実際にはAIの誤りを増幅してしまうことすらあります。
法務の現場で考えてみましょう。契約レビューAIが「この条項はリスク大・要修正」「リスクなし・確認済」と出力したとき、レビュー担当者はそれを参考情報として見ているつもりでも、認知の出発点はすでにそこに置かれています。特に、時間がない、大量に処理したい、論点が複雑だ、という条件が重なると、人はAIの誤りを正す人ではなく、AIの誤りを通してしまう人になりやすい。
つまり、問題は「何を人間に振るか」の仕分けだけではなく、「人間に振った後、その人間にAIの影響下でどう判断させるか」まで設計しなければ、Human in the Loopは安全弁にならない。むしろ、人を一枚かませることで安心した気になり、実際にはAIの誤りを増幅してしまうことすらあるのです。
では人間はどうすればいいのか。AIを使わない時代に戻るべきなのか。それとも、和風 Human in the Loopに頼らないガバナンスのあり方を、新たに考え出すべきなのか。この問いには、まだ答えが出ていません。そして厄介なことに、この問いについてはAIに相談して答えを出すわけにはいかず、人間が自分の頭で考えなければならないのです。
