AIセーフティ・インスティテュート（AISI）がわざわざCAIOガイドブックを書いた意義
AIガバナンスの議論では、どうしても「どこまでAIに任せてよいか」「最後は人間が確認すべきか」という話ばかりが前に出ます。実際、ここ1年ほどの日本の議論でも、Human in the Loop という言葉は、ほとんど安全祈願のお札のように使われています。
しかし、そうした空気の中でこそ熟読すべき価値ある文書が出ました。AIセーフティ・インスティテュート（AISI）事務局が2026年3月1日付で公表した『Chief AI Officer ガイドブック』です。
AISIは、内閣府をはじめとする関係省庁・関係機関の協力の下、IPA（情報処理推進機構）内に設置された、AIの安全性評価やガバナンスに関する基準づくりを担う、日本の中核的な公的組織の一つです。
もちろん、このガイドブック自体に法的拘束力はありません。ですが、国のAI政策、行政機関のCAIO設置、AI法や各種ガイドラインとの接続を意識して書かれており、これから日本企業がAIガバナンスをどう組み立てていくかを考えるうえで、「先回りした設計図」として読むべきものでしょう。
私がこのブログでこれを紹介する価値があると思った理由は、AIガバナンスの中心を Human in the Loop に置いていないからです。もちろん、人間の最終判断にまったく触れていないわけではありません。高リスク案件では、停止・差し止めや会議体での審査、人間による最終判断に言及しています。ただ、それはあくまで例外時の統制として現れるにすぎません。文書全体を通して前景化されているのは、もっと別のものです。
AIガバナンスの正体は、人ではなく文書である。Human in the Loop ではなく、Document in the Loopであると。
AISIがCAIOに求めているのは、「人が見ること」ではなく「文書（記録・証跡）として残ること」
このガイドブックの 3.3「ガバナンス、倫理、コンプライアンス」を読むと、その重心はかなり明快です。
CAIOは、単にAI活用を旗振りするだけの役職ではありません。全社的なAI利活用状況を把握し、リスクマネジメントと価値創出を統括し、その過程を監査可能なかたちで残す責任を負う。そのことは、ガイドブックの次の一節にもはっきり表れています。
AIインベントリ、リスク登録簿、AI影響評価 (AIIA)、モデルカード、データシート、KPIダッシュボード等を用い、ユースケース審査・運用監督・監査に耐える証跡を残す。（『Chief AI Officer ガイドブック』5頁）
この文書の中でAISIが求めているのは、「人間の注意深さ」ではなく、後から参照できる記録です。しかもこの一文は、「証跡を残す」を単なる付随作業としてではなく、ユースケース審査、運用監督、監査を支える中心作業として置いている。私はこの書きぶりに、AISIのAIガバナンス観がよく出ていると思います。
AISIは「人が最後に見ればよい」という考えに立ちません。何を作り、何を入れ、何を止め、何を見直したのか。その判断の履歴が、社内で追跡可能な形で残っていることを重視しています。
これは、法務の人間からするとかなり馴染みのある世界観ではないでしょうか。契約審査でも、個人情報保護でも、内部通報でも、あとで組織を守るのは「ちゃんと人が見ていた」という空気や雰囲気ではありません。申請書、承認記録、議事録、判断理由のメモ、改訂履歴、アクセスログ。つまり、後に残り検証可能な文書です。
Human in the Loop ではなく、Document in the Loop
あらためて、Document in the Loop とは何か？これは、人間を不要にするという話ではありません。AIの判断に人が関与する局面は、これからも当然残るでしょう。高リスク案件や対外説明、権利侵害リスクの高い場面、あるいは停止・差し止めの判断などでは、なおさらです。
ただ、それでもなお、企業を守る核が「人間の注意力」に依存するものであってはなりません。そこを取り違えると、AIガバナンスはすぐに精神論に陥ります。
本当に輪の中に置き続けなければならないのは、むしろ文書です。どのユースケースが対象なのか。どういうリスクを見たのか。どのデータを使い、どんな権利処理を確認したのか。どの性能評価を経て本番投入に進めたのか。運用後に何をモニタリングし、何が起きたら止めるのか。そうした情報が、案件ごとに整理され、更新され、共有され、あとから検証できる形で残っていること。そこにこそ、ガバナンスの実体があります。
この文書の書きぶりも、その考えを後押ししています。企画・開発・調達・導入プロセスの監理について、AISIはこう書いています。
自社にとって価値のあるユースケースに対し、AIモデルの開発または外部調達・導入のプロセスを、関係部署と合意した基準・ゲートに基づいて監理する。（『Chief AI Officer ガイドブック』5頁）
ここにあるのも、Document＝関係部署と合意した基準・ゲートです。誰かの善意や頑張りでその都度止めるのではなく、あらかじめ合意された条件で進めるか止めるかを決める。その条件が文書化され、共有され、更新されることの方が重要だ、という発想です。私はこの一文を読んで、AIガバナンスの実体は、倫理や法的素養のあるに人間が輪の中にいることではなく、人間によって文書化された条件が輪の中に入り続けることなのだと、あらためて感じました。
Human in the Loop という言葉が便利なのは、「優秀な人間が最後は守ってくれる（はず）」という、ある種のヒーロー・ヒロイン依存の性善説で安心した気にさせてくれるからでしょう。しかし、何かインシデントが発生したとき、本当に問われるのはそこではありません。責任者がいたかどうかではなく、何を見て、何を見落とし、どの前提で判断し、どこまでを許容したのかの証跡が残っているかどうかが問われます。前者は単なる姿勢の話であり、後者こそが統制の話です。
なぜ文書なのか── AIガバナンスは「後から説明できること」でしか成立しない
AIガバナンスにおいて文書が決定的に重要なのは、企業のガバナンス一般と同じく、あとから説明できなければ何も守れないからです。
インシデントが起きたとき、顧客から苦情が来たとき、取締役会に報告するとき、監査部門から確認されるとき、あるいは当局対応が必要になったときに、本当に必要になるのは「最後は人間が確認しました」という一言ではありません。それではなんの言い訳にもならないのです。
その案件は、そもそも誰が起案したのか。どの会議体で審査されたのか。高リスク判定はどこで行われたのか。AIIAでは何が洗い出されていたのか。モデルカードにはどんな限界が書かれていたのか。運用ダッシュボードでは何を監視していたのか。逸脱が起きたとき、誰が、どの権限で、どの記録を残して止めたのか。ここまで遡れなければ、説明責任は果たせません。
この意味で、AISIのガイドブックは誠実です。AIガバナンスを、抽象的な原則論で終えていない。記録と証跡を整え、会議体を設け、監査に耐えるようにしろ、と地味な方向へ引き戻しています。例えば、説明責任についてこう書いています。
自社の AI戦略・取り組みに関する対外発信や、顧客・関係者への説明責任を果たし、組織内外に対して AIに対するアプローチとビジョンを共有する。必要に応じて、AI関連の論点について
スポークスマンとして対応する。なお、ここにおける説明責任には、経営層・取締役会への報告、社内外ステークホルダーへの説明に加え、監査対応や意思決定過程の記録・証跡管理を含む。（『Chief AI Officer ガイドブック』7頁）
この定義が重要です。説明責任を、対外発信や広報的な説明技術の問題にとどめず、意思決定過程の記録・証跡管理まで含めている。つまりAISIは、説明責任の実体を「うまく説明すること」より、「説明できるだけの記録を残しておくこと」に見ているわけです。私はここにも、Document in the Loop の核心があると感じます。
承認権より重要なのは否認権
この文書を読んでいて、もう一つ印象に残ったのは、CAIOに「本番投入の停止・差し止めを含む否認権」を付与することが望ましい、と踏み込んで書いている点でした。
権利・安全への影響が高いユースケースについては、CAIO に本番投入の停止・差し止めを含む否認権を付与し、全社 AI ステアリングコミッティの承認および人間による最終判断を求める体制を整備することが望ましい。（『Chief AI Officer ガイドブック』6頁）
AIガバナンスの議論では、誰がOKを出すのか、誰が責任者なのか、といった承認権の話ばかりが目立ちます。しかし、実務で組織を守るのは、しばしば「進める権限」より「止める権限」です。
AISIはたしかに「人間による最終判断」にも触れています。ですが、その前に置いているのは「停止・差し止めを含む否認権」です。つまり、常時人間を噛ませる安心設計よりも、危ないときに止められる制度設計の方を前に出しているのです。私はこの順番に、この文書のリアリティがあると思います。
しかも、止められるだけでは足りません。なぜ止めたのか。なぜ止めなかったのか。その理由が残っていなければ、後で組織は必ず困ります。
これは法務の感覚からしても、ごく自然な話ではないでしょうか。問題になるのは、承認があったかなかったかだけではありません。その承認が、どんな事実認定とリスク評価の上に立っていたのかです。AI案件ではその必要性がさらに増します。ハルシネーション、バイアス、データ品質、権利処理、説明可能性、サイバーセキュリティ。争点が多い分だけ、「なぜそのときそう判断したか」を残しておかないと、あとで説明が破綻します。
だからこそ、高リスク案件における人間の関与を論じるなら、本来見るべきなのは「人が最後にいたかどうか」よりも、「止める条件が決まっていたか」「止めた理由が残っているか」です。ここでもまた、私はHuman in the Loop より Document in the Loop の方が、実務の手触りに近いと考えます。
法務の仕事は、AIの出力を毎回チェックすることではない
このガイドブックを読んで、法務の仕事についてあらためて感じたことがあります。
法務は、しばしば、契約書・警告書等のレター・広告表現・プレスリリースといった会社（法人）としての「出力」を一つひとつ手作業で確認するために存在している、と思われがちです。もちろん、個別案件のレビューが必要な場面はあります。ですが、それは法務の仕事の表層に過ぎません。法務が本当にすべき仕事とは、「設計」だということです。
AIでいえば、それは利用ルールであり、審査・承認プロセスであり、契約・調達における監査可能性であり、権利処理の確認手順であり、インシデント時の通報と初動対応であり、当局対応や社内外調査に耐える記録の残し方の設計、つまるところ、AIの周りを流れる文書の体系そのものです。事業部がAIで作成・修正した契約書を人の目でチェックする仕事、であってはなりません。
先日、私は「AIガバナンスの最初の一歩は、フォルダのパーミッション設計なのではないか」と書きましたが、今回AISIの文書を読んで、その先を考える補助線・ヒントを得ました。AIガバナンスの正体は、権限設定に加え、どの文書を残し、誰が更新し、どの会議体で参照し、どの監査に耐えさせるか。そうした文書中心主義の設計でもあると。
Human in the Loop は、安心の比喩としては便利なことばです。しかし、AIガバナンスが本当に機能し始めるのは、人を輪の中に置いたときではなく、会社を構成する人の意思と行動の記録・証跡が文書として輪の中に置かれたときである。そう考えます。
