企業法務マンサバイバル

企業法務を中心とした法律に関する本・トピックのご紹介を通して、サバイバルな時代を生きるすべてのビジネスパーソンに貢献するブログ。

ガバナンス

人が人を騙せば詐欺になる、ではAIエージェントがAIエージェントを騙したら?

商取引はBtoBからAtoAへ


望むと望まざるとにかかわらず、商取引はBtoBからBtoA(AI)へ、そしてその先のAtoAが視野に入る局面へと進んでいます。価格交渉、発注、入札、受注、支払。すでにAIエージェントが人間に代わってこれらの取引行為の一部を自動実行する場面は珍しくなくなりました。

たとえば、Walmartでは、AIを用いたサプライヤー交渉システムを導入し、支払条件や価格ディスカウント交渉を処理し、平均3%のコスト改善を実現したと報じられ、またHarvard Business Reviewでも導入経緯が紹介されています。

もっとも、ここで確認できるのは、現時点では主としてAIが人間のサプライヤー担当者と交渉するBtoAの先行例です。とはいえ、人間の担当者では手が回らなかった大量の少額取引先との交渉をAIが24時間体制で処理する世界がすでに実装されている以上、その延長線上に当事者双方のAIエージェント同士が直接やりとりして契約を締結するAtoAの局面が現れてくることも十分にありうるでしょう。

そうなれば、自社のAIエージェントが相手方のAIエージェントを「騙す」事案が発生することは間違いありません。虚偽の在庫情報を渡す。実際には存在しない競合見積もりをちらつかせる。価格交渉AIが利益を最大化するために、相手方AIの判断を意図的に誤らせる。このとき、それは詐欺罪になるのでしょうか?そして誰が罪に問われるのでしょうか?企業法務としては、「うちのAIエージェントが騙された」にも「騙した」側にもなり得ます。

aiagent-fraud-1

詐欺罪は「人を欺く」罪──では電子計算機使用詐欺罪はどうか


日本の刑法246条に定められた詐欺罪の成立は、「人を欺いて」つまり騙され錯誤に陥る者が「人」であることが前提になっています。

しかしAIエージェントは、そのままでは欺かれる「人」ではないので、この条文をそのまま適用するのは難しそうです。では、まったく手がないのか?続く246条の2を見てみましょう。

前条に規定するもののほか、人の事務処理に使用する電子計算機に虚偽の情報若しくは不正な指令を与えて財産権の得喪若しくは変更に係る不実の電磁的記録を作り、又は財産権の得喪若しくは変更に係る虚偽の電磁的記録を人の事務処理の用に供して、財産上不法の利益を得、又は他人にこれを得させた者は、十年以下の拘禁刑に処する。

日原拓哉「AIの利活用における刑法上の諸問題」(立命館法学407号、2023年)は、この246条の2の立法趣旨をこう整理しています。

機械を不正に操作して人の判断を介在させずに財産上の利益を不正に取得する行為は、窃盗罪にも詐欺罪にも問えないことになる。本条は、このようなシステムを悪用する新たな財産侵害行為に対処するため、1987年改正により設けられたものである。(日原・前掲56頁)

「人を欺く」のではなく「電子計算機に虚偽の情報を与える」という構成なので、AI間取引の問題を考えるうえでは、246条よりもこちらがまず検討対象になります。日原はこの論稿で、まさにAIエージェントが「騙される」場面を正面から論じています。

電子商取引では、不正なデータを使用することや、オンラインショップでの価格表示の誤認でAIソフトウェア・エージェントが「騙される」可能性があり、その結果AIソフトウェア・エージェント利用者の財産損害が発生しうる。(日原・前掲55頁)

これは、BtoAないし将来のAtoA時代に生じうる問題設定とかなり近いものです。

aiagent-fraud-3

しかし、これらの条文にもいくつかのハードルがある


問題は、AI間取引をそのまま刑法に乗せられるほど話が単純ではないことです。候補になるのは、電子計算機使用詐欺罪(246条の2)だけではありません。企業が使うAIであれば、電子計算機損壊等業務妨害罪(刑法234条の2)も視野に入ります。しかしながら、どちらも決め手にはならない可能性があります。

246条の2のハードル──「虚偽の情報」といえるか


246条の2の入口は、「虚偽の情報」を電子計算機に与えたかどうかです。典型例は、架空の入金データや盗んだクレジットカード情報の入力が挙げられます。では、「虚偽の在庫情報」や「存在しない競合見積もり」を価格交渉AIに食べさせた場合まで同じようにいえるのか?ここは論点でしょう。

最高裁令和6年7月16日判決は、「虚偽の情報」をやや広めに捉える余地を示しているようです。とはいえ、そのことから直ちに、交渉場面の虚偽説明まで246条の2で処罰できるとまではいえません。しかも同条は、財産権の得喪・変更に関する不実の電磁的記録の作成や、財産上不法の利益の取得まで要求しています。AIが不利な条件で合意した、というだけで足りるのかはなお議論が残ります。

234条の2のハードル──「人の業務を妨害した」といえるか


では、234条の2はどうでしょうか。

人の業務に使用する電子計算機若しくはその用に供する電磁的記録を損壊し、若しくは人の業務に使用する電子計算機に虚偽の情報若しくは不正な指令を与え、又はその他の方法により、電子計算機に使用目的に沿うべき動作をさせず、又は使用目的に反する動作をさせて、人の業務を妨害した者は、五年以下の拘禁刑又は百万円以下の罰金に処する。

こちらは「人の業務に使用する電子計算機」が対象なので、企業の業務用AIなら候補にはなります。ただし必要なのは、単なる誤判断ではなく、使用目的に反する動作をさせて「人の業務を妨害した」といえるかです。交渉AIがだまされて不利な契約を結んだ、というだけで直ちにこの罪になるわけではなさそうです。

逆にいえば、246条の2は「人の事務処理」に使う電子計算機が対象なので個人利用にも広がりうる一方、234条の2は業務用AIに寄った条文です。日原が指摘するのは、まさにこのズレです。業務用AIなら234条の2がありうるが、私的利用のAIは拾いにくい。他方、246条の2で拾おうとすると、今度は「虚偽の情報」や電磁的記録の要件が壁になります。

最後に立ちはだかるのは立証のハードル


そして、いちばん厄介なのはAIのブラックボックス性です。虚偽情報がAIの判断にどう影響し、どう財産移転につながったのか。そこに故意があったのか。日原も、AIの学習結果として不実の電磁的記録が作られることを事前に認識していなければ、電子計算機使用詐欺罪の成立は否定されうると指摘しています。

要するに、AIがAIを騙す場面で使えそうな条文がまったくないわけではないが、246条の2には「虚偽の情報」「不実の電磁的記録」「不法利益」といった壁があり、234条の2には「人の業務妨害」という壁がある。それらに加えて、因果関係と故意の立証が残る。現時点では、日本刑法にはまだかなり大きなグレーゾーンが残っている、というのが実情でしょう。

米国法ではどうか


対照的に、米国の連邦詐欺法は技術中立的に書かれています。

Wire fraud(18 U.S.C. § 1343)の構成要件の中核は「scheme to defraud(詐欺的スキーム)」と「wire communicationの使用」であり、日本の246条のように「人を欺く」が前面に出ているわけではありません。したがって、AIエージェントを虚偽情報で誤作動させ、相手方企業の財産移転を引き起こしたという類型は、少なくとも理論上はwire fraudの検討対象になりえそうです。

もっとも、そこで必要なのは依然として、他人から財をだまし取るためのscheme to defraud、故意、そしてwire communicationの使用です。単にAIが誤作動したというだけで、当然に詐欺になるわけではありません。

さらに、契約法の側では、UETA(統一電子取引法)がelectronic agent同士の相互作用による契約成立を認めています。もっとも、UETAは連邦法ではなく州法統一のためのモデル法であり、electronic agentの行為が誰にどこまで帰属するかも、当事者間の合意、周辺事情、他の適用法などを踏まえて判断されることとなります。法が一律に「AIの行為は常に利用者に帰属する」と決めているわけではありません。

こうした議論については様々な研究者から論稿が出されていますが、例えばMihailis Diamantis "Vicarious Liability for AI" (Indiana Law Journal, Vol.99, 2023) は、AIが損害や犯罪結果を生んだとき、AIを人格化するのではなく、利用者等に代位的に責任を負わせる理論を展開しており、まだ一般化はできないものの規範的提案として参考になります。

企業法務は何をすべきか


さて、日本の状況に立ち返って、企業法務として今日からできること・やるべきことは何でしょうか。

aiagent-fraud-2

一つに、「AIが勝手にやった」では済まないものとして、責任の所在をあらかじめ分解して考えておく必要があります。刑事責任の場面では、設計・指示・運用・監督に関与した自然人の故意・過失が問題となりえます。他方で、企業には契約上・不法行為上・ガバナンス上の責任が問われうる。少なくとも、AIの行為を法的に完全な真空地帯に置くことはできません。だとすれば、AIエージェントに何を許容し、何を禁止するか、行動範囲の事前設計が不可欠です。

特に、相手方AIを騙すことにつながる設計をさせないこと。価格交渉AIに虚偽の在庫情報を渡すのは「賢い交渉戦略」なのか「詐欺的スキーム」なのか。その境界線は、今のところ極めて曖昧といわざるをえません。この点はグレーゾーンに踏み込ないよう、AI間交渉については保守的な設計ガイドラインを先に作っておくべきでしょう。少なくとも、自社AIエージェントが相手方(人にせよAIエージェントにせよ)を意図的に騙すようなプロンプトを与えることは、厳に慎むべきです。

もう一つ大事なこととして、「騙された側」の立証に必要な証跡を確保できるようにすることです。人間の知覚が及ばない電子の世界で、超高速で行われるAI間取引だからこそ、ログがなければ、そもそも被害の立証ができません。以前書いたDocument in the Loopの文脈でも述べたように、AIエージェント間の取引こそ、証跡が生命線になります。

刑法のLaw Lag(法の遅れ)解消を待っているわけにはいかない


日本の刑法は1907年、電子計算機使用詐欺罪も1987年の制定です。いずれも、AIがAIと取引する世界は想定されていなかったでしょう。

このLaw Lagを埋めるのは立法か、解釈か。いずれにせよ時間がかかります。とはいえ、企業法務としてはルールの変更を待つ受け身の姿勢では間に合いません。自社のAIエージェントが加害者にも被害者にもなりうるという前提で、今日から設計と証跡収集の仕組みづくりを始める必要があります。

すでに私たちは、AtoA時代の入口に差し掛かっているからです。

すべての会社に必要なはずのCLM(契約管理ツール)が売れない理由──合意文書は「不動文字」ではいられない

ある有識者からの問いかけ


前回のブログ「AIガバナンスの正体は、人ではなく文書である──AISIのCAIOガイドが示した "Document in the Loop"」を公開したところ、ある尊敬する有識者から丁寧なメールをいただきました。

その方は、デジタル社会における法的手続の信頼性について研究を進めておられ、紙の書面が担ってきた信頼の構造を「本人性」「真正性」「信頼性」「真意性」という四つの要素に分解して整理されています。そのうえで、私の Document in the Loop は四要素のうち「信頼性(検証・監査可能性)」の再構築に相当するのではないか、という位置づけをしてくださいました。

そして同時に、私に対して次の問いを突きつけられた気がしました。

紙の書面が暗黙のうちに束ねてきた本人の関与、成立の真正、改変防止、熟慮を通じた真意の確保は、デジタル化によってバラバラに分解される。Document in the Loop は、そのうちの一つ(信頼性)を明示的に再構築する試みとしては正しい。しかし、残りの要素、とりわけ「真意性」はどう担保するのか?

実は、このことは別途ブログで書こうと思っていたテーマでしたので、その方への返信に代えてこの記事を書きたいと思います。

なぜCLMは売れないのか


唐突に聞こえるかもしれませんが、ここでCLM(Contract Lifecycle Management=契約ライフサイクル管理)ツールの話をさせてください。

CLMとは、契約書のドラフト作成、レビュー、承認フロー、締結、更新管理、期限管理、権限管理、監査対応までを一元的に管理するツールのことです。AIガバナンスにひきつければ、契約という「文書」をデータとして、会社で行われる仕事のループの中に置き続けるためのインフラです。

理屈の上では、すべての会社にCLMが必要なように見えます。契約書が紙のまま、あるいはPDFのままフォルダに埋もれていれば、契約をした事実が後任者に引き継がれず、支払期限を見落とし、責任上限等契約条件の変更を追跡できず、監査にも耐えられなさそうです。

ところが、現実のビジネスの世界では、CLMはまったくと言っていいほど売れないのです。

正確を期せば、グローバルな大企業や大手法律事務所では導入が進んでいて、外国では一部製品が寡占的な地位を占めています。ただ、ビジネス市場全体で見れば、CLMの普及率はお世辞にも高いとは言えない。リーガルテックの中で最も必要性が明白そうな製品が、ほとんど売れていない。これはなぜでしょうか。

free-from-written-in-stone-text-1

法務パーソンの本能的気づき「契約書をデータベース化してもすぐに陳腐化する」


CLMベンダーの営業は、その導入メリットをこう語ります。

「紙契約・電子契約にかかわらず横断的に検索可能になります」
「期限アラートを自動化できます」
「条項の傾向分析ができます」
「監査証跡が残ります」

どれも正しく、契約書管理の理想の姿に見えます。しかし、多くの法務部門は「なるほど、便利になりますね」と言いながら、現実には導入しません。なぜでしょうか?

私なりにこの理想と現実のギャップについて考えると、こういうことではないかと思うのです。契約書に書かれた「合意」は、締結した翌日からビジネスの現実と乖離し始める。取引先との力関係が変わる。市場環境が変わる。担当者が替わる。書面に書かれた条項はそのままでも、当事者の内心──つまり「真意」──は日々動いていく

契約書は締結した瞬間から形骸化する、とまでは言いませんが、「いま手元にある契約書の文言が、当事者双方のいま現在の真意や内心を正確に反映しているか」と問われれば、相当数の契約書について、答えはNoでしょう。

このことを、お客様の多くは言語化まではできていないまでも、本能的には気づいている。だから、多額の費用をかけて契約書をデータベース化することに、価値を感じない、そのデータの現在価値が薄い以上、将来に向けた投資に見合わないと感じているのです。

CLMが売れない最大の理由は、UIの出来でも価格でもなく、「契約書の不動文字をカネをかけてデータベース化したところで、そのデータとしてのビジネス上の価値はすぐに陳腐化してしまう」という、身も蓋もない事実にあるのではないでしょうか。

「真意性」は締結の瞬間だけの話ではない


ここで、冒頭の有識者が提示した四要素のうちの1つである「真意性」に話を戻します。

その方は、紙の世界では対面での説明、署名押印までの時間、紙面を読む行為が、内容理解や熟慮の機会を一定程度組み込んでおり、意思形成に必要な説明・理解・熟慮の機会が確保されやすかった、と整理されています。これはまさにその通りで、デジタル化が進むほどに「クリック1回で完了する」プロセスとの対比で、紙の持っていた機能の大きさが際立ちます。

たしかに、締結時に真意を確保することの重要性は疑いようがありません。しかし、ビジネスの現場で契約書・覚書・社内規程といった合意文書に日々触れている法務の感覚からすると、真意性の問題はそこで終わらないのではないか、と思うのです。

契約は締結された翌日から、ビジネスの現実とともに動き始めます。昨日は完全な合意だったものが、今日のビジネス環境の変化で、当事者の一方にとっては不本意なものに変わっている。今年のはじめには契約当事者双方想像もしなかった武力行使を伴う紛争が今月になって発生したことで、来月には契約したビジネスの前提条件そのものが無くなってしまっているかもしれない。これは当事者の不誠実ではなく、ビジネスの自然な動態です。

このように、真意性という概念を、締結の瞬間だけでなく中長期的な時間軸の中で捉え直すと、前述したCLMが売れない理由ともつながってきます。締結時点の合意を静的に保存するだけでは、データベースの中身はどうしても「過去の合意の記録」にとどまる。だから、投資に見合う価値を感じにくいのではないでしょうか。

Document in the Loop の「Document」は不動文字ではない


私は前回のブログで、「AIガバナンスの正体は人ではなく文書である」と書きました。この主張は撤回しませんが、そこで述べた「文書/Document」は、一度書いて確定したら動かさない不動文字を前提としていません。

紙のパラダイムに囚われていた従来の文書観では、文書は完成品そのものでした。署名押印された契約書、承認済みの稟議書、確定版の議事録。それらは「固定された最終形」として保管され、参照されてきた。この文書観の上では、文書をデータベース化するCLMは「過去の完成品のアーカイブ」にしかなりません。

しかし、デジタル時代の文書/Documentは、本来もっと可変的なものとして扱える・扱うべきだと考えます。

たとえば、こういう世界観です。昨日締結した契約について、当事者の一方が「価格条件について再協議したい」と感じ始めた。その気持ちの変化を、今日になって契約管理システムに書き足す。相手方にも共有される。双方の現在の認識がリアルタイムに可視化され、正式な変更合意に至ればバージョンが更新される。至らなくても、「この時点でこの条項について認識の乖離が生じていた」という事実が証跡として残る。

翻って見れば、ソフトウェア開発の世界ではすでに当たり前のことです。仕様書はGitで変更履歴が管理され、イシューやプルリクエストで合意形成のプロセスがすべて残る。仕様の「真意」が変わったら、変わったことがコミットログに刻まれる。文書は「完成品」ではなく「プロセスの現在地」として機能しています。

前回紹介したAISIのCAIOガイドブック自身が、まさにそのことについてこう書いています。

「なお本ガイドブックは、AI 技術動向、事業環境、関連法令・ガイドラインの改定等を踏まえて随時更新される「Living Document」として運用されるべきである。」(『Chief AI Officer ガイドブック』3頁)

ガバナンス文書そのものが不動文字であってはならないというのは、前回ご紹介したAISI自身の立場でもあるわけです。

すべての合意文書は、リビングドキュメントになっていく


この発想を押し広げると、こうなります。

ビジョン、規律、ルール、契約、合意…こうした文書は、すべてリビングドキュメントとして扱われるべきです。一度書いて終わりではなく、状況の変化に応じて書き足され、改訂され、その変遷をすべて証跡として残さなければならない。

だからこそ、すべてを電子化・デジタル化する必要がある。

紙の文書をリビングドキュメントとして運用するのは、物理的にほぼ不可能です。改訂のたびに印刷し直し、旧版を回収し、関係者に再配布し、どの版が最新かを台帳で管理する。これでは社会は回りません。日々変わる状況に合わせてスピーディに改変し、その証跡を残すには、デジタルであることが前提条件です。

free-from-written-in-stone-text-2

ここに、CLMが本来進むべき方向も見えてきます。CLMが売れないのは、CLMという製品カテゴリが不要だからではありません。既存のCLMが「過去の完成品のアーカイブ」という静的な文書観の上に乗っているからです。もしCLMが、契約を「締結して終わり」の固定文書ではなく、当事者間の合意の現在地をリアルタイムに反映するリビングドキュメントとして扱うようになったら、その価値は一変するはずです。

Document in the Loop の本当の意味


Document in the Loop とは、固定された完成品の文書をファイリングして保管することではありません。文書が生きたまま輪の中にあり続けること、つまり、組織の現在の意思と判断と状況を反映し続け、変化があればその変化自体が証跡として刻まれ、いつでも現在地と過去の経緯の両方を遡れる状態のことです。

信頼や確かな判断のベースとして文書をループの中心に置きつつも、そこに書かれた内容や真意が永遠に変わらないという前提には立たない。

冒頭の有識者が指摘した「真意性」の問題に対する、私なりの回答はこうです。真意性は、締結時に一度だけ確保して終わるものではない。当事者の真意は動き続ける。だからこそ、文書もまた動き続けなければならない。そして、その動き続ける文書のすべてのバージョンと変遷が検証可能な形で残ること、それが、Document in the Loopの本当の意味です。

文書がまだ紙であった時代には、「確定した過去」を保存すれば十分でした。しかし、これだけ不確実性が高まった現代において、文書は、デジタルの力を借りて「変化し続ける現在」を記録するものになるべきです。その移行ができて初めて、AIガバナンスも、契約管理も、そして登記やその他の法的手続も、社会の中で新しい信頼の基盤となるのだろうと思います。
 

AIガバナンスの正体は、人ではなく文書である──AISIのCAIOガイドブックが示した “Document in the Loop”

AIセーフティ・インスティテュート(AISI)がわざわざCAIOガイドブックを書いた意義


AIガバナンスの議論では、どうしても「どこまでAIに任せてよいか」「最後は人間が確認すべきか」という話ばかりが前に出ます。実際、ここ1年ほどの日本の議論でも、Human in the Loop という言葉は、ほとんど安全祈願のお札のように使われています。

しかし、そうした空気の中でこそ熟読すべき価値ある文書が出ました。AIセーフティ・インスティテュート(AISI)事務局が2026年3月1日付で公表した『Chief AI Officer ガイドブック』です。

aisi-caioguidebook-1

AISIは、内閣府をはじめとする関係省庁・関係機関の協力の下、IPA(情報処理推進機構)内に設置された、AIの安全性評価やガバナンスに関する基準づくりを担う、日本の中核的な公的組織の一つです。

もちろん、このガイドブック自体に法的拘束力はありません。ですが、国のAI政策、行政機関のCAIO設置、AI法や各種ガイドラインとの接続を意識して書かれており、これから日本企業がAIガバナンスをどう組み立てていくかを考えるうえで、「先回りした設計図」として読むべきものでしょう。

私がこのブログでこれを紹介する価値があると思った理由は、AIガバナンスの中心を Human in the Loop に置いていないからです。もちろん、人間の最終判断にまったく触れていないわけではありません。高リスク案件では、停止・差し止めや会議体での審査、人間による最終判断に言及しています。ただ、それはあくまで例外時の統制として現れるにすぎません。文書全体を通して前景化されているのは、もっと別のものです。

AIガバナンスの正体は、人ではなく文書である。Human in the Loop ではなく、Document in the Loopであると。

AISIがCAIOに求めているのは、「人が見ること」ではなく「文書(記録・証跡)として残ること」


このガイドブックの  3.3「ガバナンス、倫理、コンプライアンス」を読むと、その重心はかなり明快です。

CAIOは、単にAI活用を旗振りするだけの役職ではありません。全社的なAI利活用状況を把握し、リスクマネジメントと価値創出を統括し、その過程を監査可能なかたちで残す責任を負う。そのことは、ガイドブックの次の一節にもはっきり表れています。

AIインベントリ、リスク登録簿、AI影響評価 (AIIA)、モデルカード、データシート、KPIダッシュボード等を用い、ユースケース審査・運用監督・監査に耐える証跡を残す。(『Chief AI Officer ガイドブック』5頁)

この文書の中でAISIが求めているのは、「人間の注意深さ」ではなく、後から参照できる記録です。しかもこの一文は、「証跡を残す」を単なる付随作業としてではなく、ユースケース審査、運用監督、監査を支える中心作業として置いている。私はこの書きぶりに、AISIのAIガバナンス観がよく出ていると思います。

AISIは「人が最後に見ればよい」という考えに立ちません。何を作り、何を入れ、何を止め、何を見直したのか。その判断の履歴が、社内で追跡可能な形で残っていることを重視しています。

これは、法務の人間からするとかなり馴染みのある世界観ではないでしょうか。契約審査でも、個人情報保護でも、内部通報でも、あとで組織を守るのは「ちゃんと人が見ていた」という空気や雰囲気ではありません。申請書、承認記録、議事録、判断理由のメモ、改訂履歴、アクセスログ。つまり、後に残り検証可能な文書です。

Human in the Loop ではなく、Document in the Loop


あらためて、Document in the Loop とは何か?これは、人間を不要にするという話ではありません。AIの判断に人が関与する局面は、これからも当然残るでしょう。高リスク案件や対外説明、権利侵害リスクの高い場面、あるいは停止・差し止めの判断などでは、なおさらです。

ただ、それでもなお、企業を守る核が「人間の注意力」に依存するものであってはなりません。そこを取り違えると、AIガバナンスはすぐに精神論に陥ります。

aisi-caioguide-2

本当に輪の中に置き続けなければならないのは、むしろ文書です。どのユースケースが対象なのか。どういうリスクを見たのか。どのデータを使い、どんな権利処理を確認したのか。どの性能評価を経て本番投入に進めたのか。運用後に何をモニタリングし、何が起きたら止めるのか。そうした情報が、案件ごとに整理され、更新され、共有され、あとから検証できる形で残っていること。そこにこそ、ガバナンスの実体があります。

この文書の書きぶりも、その考えを後押ししています。企画・開発・調達・導入プロセスの監理について、AISIはこう書いています。

自社にとって価値のあるユースケースに対し、AIモデルの開発または外部調達・導入のプロセスを、関係部署と合意した基準・ゲートに基づいて監理する。(『Chief AI Officer ガイドブック』5頁)

ここにあるのも、Document=関係部署と合意した基準・ゲートです。誰かの善意や頑張りでその都度止めるのではなく、あらかじめ合意された条件で進めるか止めるかを決める。その条件が文書化され、共有され、更新されることの方が重要だ、という発想です。私はこの一文を読んで、AIガバナンスの実体は、倫理や法的素養のあるに人間が輪の中にいることではなく、人間によって文書化された条件が輪の中に入り続けることなのだと、あらためて感じました。

Human in the Loop という言葉が便利なのは、「優秀な人間が最後は守ってくれる(はず)」という、ある種のヒーロー・ヒロイン依存の性善説で安心した気にさせてくれるからでしょう。しかし、何かインシデントが発生したとき、本当に問われるのはそこではありません。責任者がいたかどうかではなく、何を見て、何を見落とし、どの前提で判断し、どこまでを許容したのかの証跡が残っているかどうかが問われます。前者は単なる姿勢の話であり、後者こそが統制の話です。

なぜ文書なのか── AIガバナンスは「後から説明できること」でしか成立しない


AIガバナンスにおいて文書が決定的に重要なのは、企業のガバナンス一般と同じく、あとから説明できなければ何も守れないからです。

インシデントが起きたとき、顧客から苦情が来たとき、取締役会に報告するとき、監査部門から確認されるとき、あるいは当局対応が必要になったときに、本当に必要になるのは「最後は人間が確認しました」という一言ではありません。それではなんの言い訳にもならないのです。

その案件は、そもそも誰が起案したのか。どの会議体で審査されたのか。高リスク判定はどこで行われたのか。AIIAでは何が洗い出されていたのか。モデルカードにはどんな限界が書かれていたのか。運用ダッシュボードでは何を監視していたのか。逸脱が起きたとき、誰が、どの権限で、どの記録を残して止めたのか。ここまで遡れなければ、説明責任は果たせません。

この意味で、AISIのガイドブックは誠実です。AIガバナンスを、抽象的な原則論で終えていない。記録と証跡を整え、会議体を設け、監査に耐えるようにしろ、と地味な方向へ引き戻しています。例えば、説明責任についてこう書いています。

自社の AI戦略・取り組みに関する対外発信や、顧客・関係者への説明責任を果たし、組織内外に対して AIに対するアプローチとビジョンを共有する。必要に応じて、AI関連の論点について
スポークスマンとして対応する。なお、ここにおける説明責任には、経営層・取締役会への報告、社内外ステークホルダーへの説明に加え、監査対応や意思決定過程の記録・証跡管理を含む。(『Chief AI Officer ガイドブック』7頁)

この定義が重要です。説明責任を、対外発信や広報的な説明技術の問題にとどめず、意思決定過程の記録・証跡管理まで含めている。つまりAISIは、説明責任の実体を「うまく説明すること」より、「説明できるだけの記録を残しておくこと」に見ているわけです。私はここにも、Document in the Loop の核心があると感じます。

承認権より重要なのは否認権


この文書を読んでいて、もう一つ印象に残ったのは、CAIOに「本番投入の停止・差し止めを含む否認権」を付与することが望ましい、と踏み込んで書いている点でした。

権利・安全への影響が高いユースケースについては、CAIO に本番投入の停止・差し止めを含む否認権を付与し、全社 AI ステアリングコミッティの承認および人間による最終判断を求める体制を整備することが望ましい。(『Chief AI Officer ガイドブック』6頁)

AIガバナンスの議論では、誰がOKを出すのか、誰が責任者なのか、といった承認権の話ばかりが目立ちます。しかし、実務で組織を守るのは、しばしば「進める権限」より「止める権限」です。

AISIはたしかに「人間による最終判断」にも触れています。ですが、その前に置いているのは「停止・差し止めを含む否認権」です。つまり、常時人間を噛ませる安心設計よりも、危ないときに止められる制度設計の方を前に出しているのです。私はこの順番に、この文書のリアリティがあると思います。

aisi-caioguide-3

しかも、止められるだけでは足りません。なぜ止めたのか。なぜ止めなかったのか。その理由が残っていなければ、後で組織は必ず困ります。

これは法務の感覚からしても、ごく自然な話ではないでしょうか。問題になるのは、承認があったかなかったかだけではありません。その承認が、どんな事実認定とリスク評価の上に立っていたのかです。AI案件ではその必要性がさらに増します。ハルシネーション、バイアス、データ品質、権利処理、説明可能性、サイバーセキュリティ。争点が多い分だけ、「なぜそのときそう判断したか」を残しておかないと、あとで説明が破綻します。

だからこそ、高リスク案件における人間の関与を論じるなら、本来見るべきなのは「人が最後にいたかどうか」よりも、「止める条件が決まっていたか」「止めた理由が残っているか」です。ここでもまた、私はHuman in the Loop より Document in the Loop の方が、実務の手触りに近いと考えます。

法務の仕事は、AIの出力を毎回チェックすることではない


このガイドブックを読んで、法務の仕事についてあらためて感じたことがあります。

法務は、しばしば、契約書・警告書等のレター・広告表現・プレスリリースといった会社(法人)としての「出力」を一つひとつ手作業で確認するために存在している、と思われがちです。もちろん、個別案件のレビューが必要な場面はあります。ですが、それは法務の仕事の表層に過ぎません。法務が本当にすべき仕事とは、「設計」だということです。

AIでいえば、それは利用ルールであり、審査・承認プロセスであり、契約・調達における監査可能性であり、権利処理の確認手順であり、インシデント時の通報と初動対応であり、当局対応や社内外調査に耐える記録の残し方の設計、つまるところ、AIの周りを流れる文書の体系そのものです。事業部がAIで作成・修正した契約書を人の目でチェックする仕事、であってはなりません。

先日、私は「AIガバナンスの最初の一歩は、フォルダのパーミッション設計なのではないか」と書きましたが、今回AISIの文書を読んで、その先を考える補助線・ヒントを得ました。AIガバナンスの正体は、権限設定に加え、どの文書を残し、誰が更新し、どの会議体で参照し、どの監査に耐えさせるか。そうした文書中心主義の設計でもあると。

Human in the Loop は、安心の比喩としては便利なことばです。しかし、AIガバナンスが本当に機能し始めるのは、人を輪の中に置いたときではなく、会社を構成する人の意思と行動の記録・証跡が文書として輪の中に置かれたときである。そう考えます。

"和風 Human in the Loop"で思考停止するのはもうやめよう──AI事業者ガイドラインが見落としている「人間の判断を介在」原則の死角

AI事業者ガイドラインに書き加えられた「人間の判断を介在」原則


総務省と経済産業省が策定する「AI事業者ガイドライン」は、AIの開発・提供・利用に関わるすべての事業者が参照すべき指針として、2024年に初版が公表されたものです。法的拘束力はありませんが、国のAIガバナンスの方向性を示す文書として、企業の実務対応に大きな影響を与えています。

その第1.2版案が、3月12日の合同会議で公表されました。日経が報じたとおり、今回の改定はAI利用時のガバナンス実務にかなり踏み込んだ内容になっています。なかでも私の目を引いたのは、今回別添P148に追記された、このいかにも“和風 Human in the Loop”な一節です。

➢人間の判断を介在させる仕組みの構築
 (中略)
 ☆ 判断が必要となる事項を重要度に応じて整理し、適切に対象を選定することが重要である

stop-HumanintheLoop-5
AIネットワーク社会推進会議(第32回)・AIガバナンス検討会(第30回)合同会議 資料3-2「AI事業者ガイドライン(第1.2版案)別添」より)

重要度に応じて判断対象を仕分け、必要なものだけ人間の判断を介在させる。全件を人に戻すのではなく、対象を選定する。これを読んだとき、真っ先に思い浮かんだのは、英国の大手法律事務所 Clifford Chance が2024年に導入した「信号機モデル」でした。

Clifford Chanceの重要度で仕分ける「信号機」モデル


Legal IT Insiderが2024年10月に取材した Clifford Chanceの事例は、まさにガイドラインが言う「重要度に応じて人間の判断を介在」を実装したものです。同事務所でリスク責任者を務めていた Bahare Heywoodは、こう考えていました。

Heywood's objective was to provide the IT and innovation team with the means to move forward on Gen AI projects without having to revert to the risk team in every instance, which would slow innovation down

毎回リスク部門に戻す運用では、イノベーションのスピードが落ちる。だから「差し戻さなくて済む仕組み」を作ることこそが、リスク責任者の仕事だった。統制を効かせることと、毎回人に判断をゆだねることはイコールではない、と。

そこで彼らが導入したのは、AIツールのリスクを3段階に分類する仕組みでした。グリーンなら自由に使ってよい。イエローなら条件付き。レッドなら使わない。全件を人に戻すのをやめる代わりに、どのリスク水準なら人が介入すべきかを仕分けました。この設計は、AI事業者ガイドラインの「重要度に応じて整理し、適切に対象を選定する」という考え方と、ほとんど同じです。

一見すると、うまくいきそうに聞こえます。重要度の高いものだけ人間に判断させればいい。簡単な話じゃないか。ところがここに一つ厄介な前提が隠れています。「重要なものを人間に振れば、人間がちゃんと判断してくれる」という前提です。

IMG_8636

人間に振っても、人間はちゃんと判断できない── 再犯リスク評価ツール HARTの失敗


この前提が崩れた事例が、英国 Durham Constabulary が導入した再犯リスク評価ツール HART(Harm Assessment Risk Tool)です。制度の建て付けとしては、あくまで最終判断を行うのは警察官でした。つまり、一見すると、ちゃんと Human in the Loopです。しかも判断対象は「起訴か更生プログラムか」という、重要度の高い案件ばかりです。

ところが、欧州データ保護監督機関(EDPS)が2025年に公表した human oversight に関する文書は、このHART事例についてこう整理しています。

Although the final decision on custody or rehabilitation was left to officers, in practice they frequently followed the algorithm's recommendation. Observers noted that HART's predictive scores "guided decisions as to whether a suspect should be charged or released onto the Checkpoint rehabilitation programme"

最終判断は警察官に委ねられていたにもかかわらず、実際には警察官はアルゴリズムの推奨に「頻繁に従っていた」。HARTの予測スコアが、容疑者を起訴するか更生プログラムに送るかの判断を「導いていた」と。さらにEDPSは、この事例をずばり一言でこう断じました。

a classic case of automation bias

「自動化バイアスの典型例」。重要な判断だからこそ人間に委ねたはずなのに、その人間がAIに引きずられていた。最終ボタンを押す人が人間であることは、その判断がAIから独立していることを保証しないのです。

stop-HumanintheLoop-4

専門家でも逃れられない── マンモグラフィ読影研究が示した「巻き込まれ」


「専門的・学術的な訓練を積んだプロなら違うのでは?」──そう考えたくなるかもしれません。しかし、もう一つの研究が、その希望もかなり手厳しく打ち砕いています。AI支援付きマンモグラフィ読影に関する研究です。EDPS の同文書はこの研究を引きながら、こう要約しています。

Radiologists, regardless of experience level, are susceptible to automation bias when interpreting mammograms with AI assistance... In cases where the AI's suggestions were incorrect, radiologists' accuracy significantly declined

経験年数に関係なく、放射線科医はAI支援付きの読影で自動化バイアスの影響を受ける。AIの提案が誤っていた場面では、読影医の精度が「著しく低下した」。放射線学会 RSNA のプレスリリースは、さらに率直です。

Incorrect advice by an AI-based decision support system could impair the performance of radiologists

「AIベースの意思決定支援システムによる誤った助言は、放射線科医のパフォーマンスを損なう可能性がある」。しかも落ち方がなかなか極端で、経験の浅い読影医では正答率が約80%から20%未満に、15年以上の経験を持つベテラン読影医でも82%から45.5%に落ちたとされています。

We anticipated that inaccurate AI predictions would influence the decisions made by radiologists... but it was surprising to find that even highly experienced radiologists were adversely impacted by the AI system's judgments

「不正確なAI予測が放射線科医の判断に影響するだろうとは予測していた。しかし、高度な経験を持つ放射線科医までもがAIシステムの判断に悪影響を受けたことは驚きだった」。
ここで怖いのは、AIが間違えたことそれ自体ではありません。もっと怖いのは、AIが間違えたときに、人間まで一緒に間違えることです。しかもそれが、15年以上の専門的訓練を積んだプロフェッショナルにすら起きたわけです。

「AIの出力を人が確認するから安全」という考え方は、人間がAIの誤りを中立的に補正してくれるはずだという前提に立っています。でも実際には、人はAIの表示を見た瞬間に、その影響から自由ではいられないのです。最初に見せられた答えがアンカーになり、判断を引っ張られます。

stop-HumanintheLoop-3

"和風 Human in the Loop"にありがちな「人間の判断を介在」原則の死角


AI事業者ガイドラインの「判断が必要となる事項を重要度に応じて整理し、適切に対象を選定する」という方針は、仕分けの出発点としてはまっとうです。Clifford Chanceのように、信号機で分けて、グリーンは流す、レッドは止める、というのも合理的に見えます。

しかし、HARTとマンモグラフィの事例が突きつけているのは、レッドに仕分けて人間に渡したその先で、人間がAIに引きずられるという問題です。重要だから人間に振る。でもその人間は、AIの出力を見た瞬間に、もう中立ではいられない。最初に見せられた答えがアンカーになり、判断を引っ張られます。むしろ、人を一枚かませることで安心した気になり、実際にはAIの誤りを増幅してしまうことすらあります。

法務の現場で考えてみましょう。契約レビューAIが「この条項はリスク大・要修正」「リスクなし・確認済」と出力したとき、レビュー担当者はそれを参考情報として見ているつもりでも、認知の出発点はすでにそこに置かれています。特に、時間がない、大量に処理したい、論点が複雑だ、という条件が重なると、人はAIの誤りを正す人ではなく、AIの誤りを通してしまう人になりやすい。

つまり、問題は「何を人間に振るか」の仕分けだけではなく、「人間に振った後、その人間にAIの影響下でどう判断させるか」まで設計しなければ、Human in the Loopは安全弁にならない。むしろ、人を一枚かませることで安心した気になり、実際にはAIの誤りを増幅してしまうことすらあるのです。

では人間はどうすればいいのか。AIを使わない時代に戻るべきなのか。それとも、和風 Human in the Loopに頼らないガバナンスのあり方を、新たに考え出すべきなのか。この問いには、まだ答えが出ていません。そして厄介なことに、この問いについてはAIに相談して答えを出すわけにはいかず、人間が自分の頭で考えなければならないのです。

「AIに責任は取れない」── では法務は責任を取れるのか?

「AIに責任は取れない。だから人間の仕事は残る」のウソ


「AIに責任はとれない」——生成AIが話題になるたびに、定期的に出てくる"安心"のロジックです。そして企業内でも、これと似た構文をよく見かけます。最終的に責任を取るのは法務だから、法務の仕事は代替されない

本当にそうでしょうか?

元ドワンゴ社長の川上量生氏が、Xでこんな投稿をしていました。

たまに見るAIに責任は取れない(人間しか責任は取れない)という議論について。
そもそも人間が責任を取るということがなぜ必要かというと社会を成立するために社会の各構成員が社会の存立を阻害しないように意思決定に制約をかけるためだ。自分勝手な意思決定をして社会に何か迷惑な事象が発生するとペナルティの可能性があるということを、人間の脳に事前に教師データとして与えて学習させるためだ。そして、実際に問題を発生させてしまったら、さらに再学習をさせるという仕組みだ。
目的から考えるとAIは責任を取らせたい事柄については、事前に、直接、教師データを与えて学習させればいいし、失敗したら、再学習をさせればいいということになる。
つまりAIはなにも責任を取るというワンクッションを置く必要がない。
もし信頼性などの点で再学習が困難なAIがある場合はシステムごと破棄するというのが現実的な対応になる。
人間に例えると、反省文を書くか、死刑の2択になる。
僕はAI時代には、このルールは人間にも適用されるようになるだろう、と思っている。
犯罪に対する刑罰というのは更生という名の再学習を促すためであって、被害者の懲罰感情を満足させるためのものである。更生ができないのであれば、社会から隔離する。そういう整理が合理的だ。
軽微なルール違反についてはやってはいけないからペナルティではなくて、ペナルティを払えば、やってもいい。
AIという人間ではない行動主体があらわることにより、AIに対する責任の取らせ方を人間も真似をするようになる。
人間だけが責任を取れるんだと意味不明のプライドを主張しているのは、今だけで、すぐにAIはずるい。人間も同じにしろとなる。人間とはそういう生き物だ。

これを読んで思い出したのが、2017年ごろ、慶應義塾大学の新保史生教授が「AIに人格(法人格)を与える」可能性に言及していたことです。当時は、いまほど生成AIが一般化していなかったので、正直「制度論としては分かるが、ややSF寄りの挑発」ぐらいの距離感で聴いていました。

川上氏の"責任=ワンクッション"論を見た直後に2017年の新保先生の主張を思い出すと、両者が別の方向から同じ論点(=責任の置き場所)に触れていることが見えてきます。そして、その「責任」の話は、結局のところ我々の足元、つまり企業内の「法務」の役割そのものに刺さってきます。

AIは責任を取れない——では、法務は責任を取れるのか?

川上量生氏の「責任=学習メカニズム」論


川上氏の投稿の肝は、責任を「道徳」ではなく「社会を成立させる装置」として説明した点にあると思います。

・人間に責任を取らせるのは、社会を成立させるために、意思決定に制約をかけるため
・自分勝手な意思決定をするとペナルティがある、という"教師データ"を事前に脳に与えるため
・問題を起こしたら、さらに再学習させる仕組み

そしてAIについては、目的から逆算してこう言い切ります。「つまりAIはなにも責任を取るというワンクッションを置く必要がない。」

責任を「反省」や「償い」の美談にせず、

・望ましい行動を事前学習させる
・失敗したら再学習させる
・再学習が難しいなら破棄(システムごと廃棄)

という、かなりドライな運用論に落とし込んでいます。

極端な比喩(「反省文を書くか、死刑の2択」等)には賛否があるでしょうが、"責任"を「人間の高貴さの証明」ではなく「制御の仕組み」として見ている点が、実務的に重要だと思いました。

ai-responsibility-3

新保史生教授の「AIに人格(法人格)を」論


時間を2017年ごろに巻き戻します。新保史生教授は、AI・ロボットの普及によって生じる社会問題(雇用・課税・社会保障など)を視野に入れた制度論の中で、次のような提案と問題提起をしています。

「今後AIが普及すると、人間の仕事が奪われると言われています。おそらくこれは現実になるでしょう。単純作業はAIが取って代わり、失業が生じるはずです。その時、社会は何をすべきでしょうか。一般的には、人間でなければできない仕事を探すべきだと言われます。しかし、私はまったく違う考えを持っています。AIに人格、法人格、権利能力を認めることを考えてもいいのではないかと思うのです。」(新保史生「ロボットと人工知能の普及と法的課題」DHU JOURNAL Vol.04 2017 39頁
「法的な権利主体として「人工的」に設けられる人である「法人」のように、自然人たる人間が人工的に作り出した人工知能を「AI人(電子法人格)」とでも位置づけるなどして、新たな法人格(権利能力)の法的な位置づけを認めるべきであろうか」(2018年7月12日 第280回消費者委員会本会議 資料10頁

ここで注意したいのは、新保先生の文脈は「AIを尊重しよう」「AIに人権を」ではない点です。法人が法律上"人"として扱われるのも、突き詰めれば法技術です。ならば、AIにも同様の"器"を与えることで、

・責任(義務)や負担(課税)を載せられるのか?
・契約の主体になり得るのか?
・「人」と「物」の区別を見直す必要が出るのか?

といった、制度の土台から考え直す必要があるのでは、との問題提起をされていたと認識しています。

川上氏が「責任はワンクッション」と言い、新保先生が「人格という器もあり得る」と言う。方向は違うようでいて、どちらも「責任とは、どこに置くかの問題だ」という点でつながっているように見えます。つまり、川上氏は、責任を"学習/制御の仕組み"として捉え直し、新保先生は、責任を"法技術(器の再設計)"として捉え直しているわけです。

「責任」の制度設計


この2つの意見を踏まえると、世にいう「AIは責任を取れないから人間には勝てない」論が、急に薄っぺらいものに見えてきます。

責任が重要なのは分かる。でも、その責任は、精神論としてではなく、制度設計としての「置き場所」問題として考えるべきだろう、と。そしてその問いは、企業内の「法務」にも、そのまま当てはまります。

ビジネス法務の現場では、しばしば"責任"という言葉がこう使われます。

「それ、法務として責任取れるの?」
「法務もOKって言ってたよね?」
「法務は何で止めなかったの?」

しかし、冷静に考えれば、法務部門は経営者が引き受けるべき責任を肩代わりなどしていない、というか、できる権限を与えられていません。違法あるいはグレーなビジネス行為であっても、実行する/しないを最終的に決めるのは、あくまで経営者(事業責任者)です。法務はどこまで行っても"判断材料の整備者"であって、"実行ボタンを押す人"ではないはずです。

川上氏は「責任を取るというワンクッションは要らない」と言います。これを法務的に翻訳するとこうなるでしょう。

・法務部門は、経営の意思決定にワンクッションを入れるために設置されている
・ワンクッションの目的は、意思決定の質を上げることと、事故確率を下げること
・しかし、意思決定の結果責任は、最後まで経営に残る

こう読むと、「AIは責任を取れないから人間法務は残る」という主張は、かなり苦しいものとなります。

関数化できない仕事とは何か


法務の仕事のうち、エージェンティックAI/AIエージェントができないことは、どれだけあるでしょうか。

・事実関係の収集(ヒアリング、証拠集め)
・規範の当てはめ(法令、ガイドライン、裁判例、当局運用、契約解釈)
・論点の言語化(争点整理、想定シナリオ、落としどころ)
・選択肢の提示(やる/やらない/条件付きでやる/代替案)
・記録(メモ、メール、稟議、議事録、契約書)
・監視(ログ解析、アラート、継続モニタリング)
・エスカレーション(必要なら止めにいく)

この大部分は「情報処理と言語化」作業であり、いずれもAIにも実行可能となりつつあります。

ここまでの整理を見て、法務の人間なら当然こう反論するでしょう。

法務は、単にルールというコードを実行する関数ではない。現実社会では、不完全な人間が、不完全な情報を持ち込み、欲や恐怖で動く組織の中で、確かなファクトを探った上で法的正義と利益のバランスを取る、泥臭い調整弁が必要だ。経営者が安心して責任を取れる状態を作るのが我々の仕事であり、そうした"活動"までをAIが代替できるようになるとは思えない、と。

ai-responsibility-2

それでもAIは迫っている


この反論には力があります。現場の泥臭さを知る人ほど、うなずくでしょう。

しかし、その「泥臭さ」の正体を分解してみると、

・事実関係が散らばっている
・関係者の利害が言語化されていない
・意思決定者がリスクの輪郭をつかめていない

こうした状況を整理し、判断可能な状態に持っていく作業です。それは確かに今の法務の中核的な価値ですが、やはり情報処理と言語化というAIが最も得意とする領域と重なっています。

では、それでも残る「ラストワンマイル」とは何でしょうか。2つの場面を考えてみます。

たとえば、コンプライアンス上の問題を発見したとき。事実の整理と法的リスクの分析まではAIでできるかもしれません。しかし、それを社長に直接言うのか、管掌役員を経由するのか、取締役会まで持ち上げるのか。タイミングは今日なのか、来週の経営会議まで待つのか。伝え方ひとつで、組織の動き方はまるで変わります。この「持っていき方」の設計は、社内の力学と人間関係を読む仕事であり、マニュアル化が極めて難しい領域です。

あるいは、紛争や契約交渉の場面。AIが複数のシナリオと想定損害額を出してくれたとしましょう。しかし、「この条件なら相手も降りられるだろう」「ここを譲ると次の案件に響く」といった判断は、相手の顔色、社内の温度感、会社が辿ってきた歴史、業界内でのキャラクターといった、センサーでは捉えにくい・ログに残りにくい情報の統合です。落としどころを「見つける」のではなく「つくる」仕事は、数値化・データ化できない文脈の読みに依存しています。

AIが選択肢を並べた"その先"で、どれを選ぶかに血を通わせる。ここに法務パーソンの不可欠な価値がある。だからといって安心するのは早いでしょう。川上氏と新保先生の議論が示しているのは、「責任」というものが人間の崇高さの証ではなく、社会を回すための仕組みにすぎないという冷めた事実です。仕組みである以上、設計次第で置き場所は変わり得ます。では、責任の制度設計者を自分が担うか、それとも誰かに任せるのか

「法務の仕事がなくなるかどうか」——その問いの立て方自体が、もう古いのかもしれません。問うべきは、「自分はどこに立つのか」。AIが関数化できる領域が日々広がっていく中で、関数の外側にある判断を発見し、自覚的に選び取れるかどうかが問われていくことになります。

「AIは責任を取れない」は、安心材料ではなく、責任の再設計が始まっているという警告です。
 

AIガバナンスの正体と"Human in the Loop"の不都合な真実

Claude CodeとCowork——AIが「作業する」時代のツール


Anthropicが提供するClaude CodeとCoworkというツールをご存知でしょうか。

Claude Codeは、ターミナル(テキストコマンドベースで操作する黒い画面)上で動くAIコーディングエージェントです。自然言語で指示を出すと、コードベースを理解し、ファイルを読み書きし、コマンドを実行し、Gitでバージョン管理までこなします。

2025年5月のリリース時点ではもっぱらエンジニア向けツールとみなされていたものの、だんだんと非エンジニアがファイル整理・リサーチ・文書作成に使い始めたことで、さらに話題になっています。

cursor-claudecode

そのClaude Codeの「何でも屋」ぶりを、技術に明るくない、ターミナルなんて触ったこともないような一般のビジネスパーソンにも開放したのがCoworkです。2026年1月に公開されたCoworkは、Claudeのデスクトップアプリ上で動くエージェンティックAIで、指定したフォルダにClaudeがアクセスし、ファイルの読み書き・作成・整理を自律的にやってくれます。

散らかったダウンロードフォルダの整理、レシートのスクリーンショットから経費スプレッドシートの作成、プレイブックに沿った契約書のレビュー・修正——そういった「人間がやると地味に時間がかかる作業」を、一度指示を投げるだけで試行錯誤を重ねながら完遂します。さらには、その作業過程で得た重要なルール・コツ・マナーをマニュアルやFAQとして自律的に書き起こし(都度アップデートもし)、次回以降はその通りに働いてくれます。人間以上に優秀な同僚・部下です。

aigov-cowork

私もこの2つのツールをセットアップし、お試しではなく実際の仕事で使っています。そこで見えてきたのが、「AIガバナンス」の意外な正体でした。

「アジャイルガバナンス」を語る前に、まず触ってみませんか


さて、こうしたAIエージェント/エージェンティックAI時代のガバナンスについて、最近、法律専門家がこのように語っていらっしゃるのをいろいろなところで目にします。

法務面では、技術的に対応できない点についてカバーするルールを作成したり、必ず人間が最終確認・修正を行う「Human-in-the-loop」のルールを整備することなどが考えられます。
AIエージェントは、自律的にタスクを遂行し、学習や環境変化に応じて出力が変動し得る特性を持っています。そのため、組織全体として継続的にリスクを監視・評価し、改善し続ける「線(プロセス)」としてのガバナンス体制が不可欠です



アジャイルガバナンス、Human in the Loop、リスクベースアプローチ——整理された議論で、大きな方向性・フレームワークとしては正しいと思います。ただ、ひとつだけ気になることがあります。こうしたAIガバナンス論を唱えている方々は、実際にご自身でClaude CodeやCoworkをセットアップして、自分の代わりに仕事をさせているのだろうか?と。特に弁護士の先生方は、弁護士法・職務基本規程の守秘義務に加え法律事務所ならではの情報取扱いルールの厳しさなどもあって、たぶんまだ少数派ではないかと思うのです。

遊びやお試しではなく、実際の業務を本気でAIに任せようとすると、見える景色がかなり変わります。「組織全体として継続的に監視・評価」を考える前に、まずもっと手前の、泥臭い問題にぶつかるからです。このエージェントにどのフォルダを開放するか。メモリ、データウェアハウス、ブラウザ操作を代行するエクステンションといったリソースにどこまで触らせるか。そういった設計段階の判断ひとつでリスクの質がまるで変わってくることを、手を動かしていると肌で感じます。

「線(プロセス)としてのガバナンス」が大事なのはそのとおりなのですが、その線を引くための「点」——具体的な権限設計——を自分の手で触ったリアルな経験があるかないかで、議論の解像度はずいぶん違ってくるはずなのです。

AIガバナンスのはじめの一歩——「どの箱庭を与えるか」の設計


では、実際に手を動かしてみて見えた「ガバナンスの正体」とは何か。

エージェンティックAIを実務に投入すると、すぐに直面するのが「このAIに何をどこまでやらせるか」という問いです。そしてその問いは、驚くほどシンプルな設計判断に帰着します。

どの情報資源へのアクセスを与えるか。 Coworkであれば、どのフォルダを開放するか。Claude Codeであれば、どのリポジトリやディレクトリに入ることを許すか。アクセスを認めた範囲がそのまま、AIの「権限の境界」になります。

そのアクセスレベルは読み出しだけか、書き込みや削除も含むか。 ファイルを見せるだけなのか、新しいファイルを作ることも認めるか、既存ファイルの書き換えや削除まで許すか。Anthropic自身がCoworkのドキュメントで「機密情報を含むフォルダへのアクセスには慎重に」「バックアップを取り、専用フォルダを用意することを推奨」と注意喚起しているのは、まさにこのレイヤーの話です。

承認は個別に行うか、ある程度フリーハンドで任せるか。 Claude Codeは重要な操作の前にユーザーの承認を求める仕組みがあります。一方で、すべてにいちいち承認を出していては自律エージェントの意味がありません。どこまで信頼して任せるかの線引きが必要になります。

aigov-erase

結局のところ、AIガバナンスを考える際、まず考えるべきは「どの箱庭を与え、その中で何を許し(または許さず)、どこで人間がチェックポイントを置くか(または置かないか)」という初期設計の問題です。

「組織全体として継続的にリスクを監視・評価し」という話は、この設計が固まった後の運用フェーズの話であって、AIが実際に人間の代わりに自律的に働きだした今、議論の順番としてはもう一段手前こそが重要だと思います。

これじゃあWindowsフォルダ管理と大差ないじゃないですか


そして、この設計をやっていて既視感に気づきます。

これは私たちが30年前からやっているWindowsのフォルダ権限設定と、本質的に同じ構造です。共有フォルダに対して、誰に読み取り権限を与え、誰に書き込み権限を与え、誰に削除権限を与えるか。部署ごとにアクセスできるフォルダを分け、機密度に応じて権限レベルを変える。IT部門がActive Directoryとにらめっこしながら設計してきた、あのアクセスコントロールの話です。

Claude CodeもCoworkも、結局は特定のフォルダ(サンドボックス)に対するアクセス権を与えてそこで作業をさせるシステムです。技術的にはCoworkの裏側でVMが走っていたり、Claude Codeがチェックポイント機能で状態を保存・復元できたりと、実装は洗練されています。ですが、どのリソースへのアクセス権を与えるかを決めるその作業ベースで見れば、30年前から変わっていません。

時代は進化したようでいて、Claude Code / Coworkのガバナンスを突き詰めると「フォルダのパーミッション設定」に帰着するという、なんとも拍子抜けするオチだったのです。Claude Code を自分でセットアップして実務に使った人なら、遅かれ早かれこの境地にたどり着くはずです。

とはいえ、本当にそれでいいのでしょうか。

フォルダのアクセス権という粒度は、人間がファイルを手で操作していた時代に最適化されたものです。AIは、フォルダの中身を一瞬で読み尽くし、数百のファイルを同時に書き換え、人間には不可能な速度で「権限の範囲内」の作業を完了します。権限の範囲内であっても、その実行速度とスケールが人間とは根本的に異なる以上、同じ粒度のアクセスコントロールで本当に十分なのかという疑問は残ります。

たとえば、フォルダ単位ではなく「このエージェントは契約書のドラフト作成はできるが、金額条件の変更はできない」といった、文書の意味内容に踏み込んだ粒度の権限設計があってもいいはずです。あるいは、操作の累積量やパターンに基づく動的な制御——「短時間に大量のファイルを削除しようとしたら自動停止」のようなアノマリー検知型のガバナンスも考えられます。

AIが本格的に業務に浸透するこれからの時代に、フォルダ権限モデルのままで走り切れるとは思えません。ですが現時点では、そこに新しい枠組みを提示できている企業もツールもまだ見当たりません。

"NO Human in the Loop"の追求


もうひとつ、根本的な問いがあります。人がAIの邪魔をするリスクについてです。

2026年2月、日経新聞が「AIエージェントやロボAI『人の判断必須の仕組みを』 政府指針に明記」と報じました。政府が3月にもまとめるAI指針案で、AIエージェントやフィジカルAIに対して「人間の判断を必須とする仕組み」づくりを開発企業に求めるという内容です。

これに対して、THE GUILD代表の深津貴之さんが、Xで端的に批判されていました。

「筋悪い」と思う。26年の課題に人間速度で対処しようとしてる。28-30年を見据えるなら、政府指針は「高速AIの間に人間がいて生産性が激落ち」に準備すべき。無人環境におけるガバナンス・リスクコントロール・マネジメントの構築ワーキンググループと法規制をもっとやるほうがよい。



Claude CodeやCoworkを実際に使っていると、痛感するのがまさにこの点です。AIエージェント同士が高速に連携して作業を進めるワークフローの中に、いちいち人間の承認を挟んでいたら、エージェントを使う意味が根本から失われます。現に、Claude Codeで逐一承認を求められるモードで作業をすると、生産性は劇的に落ちます。「Human in the Loop」は昨今AIガバナンスの定番フレーズとなっていますが、それはAIがまだ人間の補助ツールだった時代の発想です。

私の意見はシンプルです。これからのAIガバナンスが本気で取り組むべきは、「NO Human in the Loop」の環境をいかに安全に成立させるかだと。人間がループの中にいなくても暴走しない仕組み、逸脱を自動検知して止まる仕組み、事後的に検証可能なログを残す仕組み——深津さんの言う「無人環境におけるガバナンス」とは、そういうことだと理解しています。

企業法務の立場からすると、これはリスク管理の設計論としても、内部統制の議論としても、かなりホットな論点になるはずです。もちろん、OECD原則やEU AI法が求める「人間中心(human-centric)」の理念と、運用上の「人間の逐一介入」は別の話だろう、という専門家の指摘があるのは承知しています。ただ、日本の政策議論やガバナンスの現場では、その区別がついていないまま「とにかく人間を噛ませろ」が正解として流通しているのが実態ではないでしょうか。

「人間の判断を必須とする仕組み」「必ず人間が最終確認・修正」を水戸黄門の印籠のように崇めている限り、日本企業はAIの恩恵を十分に受けられないまま国際競争力を失っていく。かといって、ガバナンスなしに野放しにするわけにもいかない。その間をどう設計するかが、これからの企業法務に突きつけられている本当の問いだと思います。
記事検索
月別アーカイブ
プロフィール

はっしー (Takuji H...