AIの利用を咎められるのは、「使ったこと」自体ではなく「検証しなかったこと」


法務でAIを使おうとすると、必ず最初に立ちはだかるのがハルシネーションの問題です。もっともらしい顔で、実在しない条文や判例を差し出してくる。これが怖い、というのは、誰もが口にする「AIを使わない理由」の筆頭になっています。

そして皮肉なことに、この落とし穴に最も深くはまっていることでやり玉に挙げられるのが、本来なら出典の正確性に一番うるさいはずの専門家、プロの弁護士たちです。ChatGPTが作った架空の判例を裁判所に提出して制裁を受けた、という話は、もはや珍しくもなくなりました。

ChatGPTで"存在しない判例"を引用 米国の弁護士に制裁、出禁や罰金(ITmedia AI+)
米国カンザス連邦地方裁判所は2月2日、生成AIが作り出した架空の判例や虚偽の引用を含む準備書面を提出した原告側弁護士5人に対し、連邦民事訴訟規則第11条に基づく制裁を科す決定を下した。(中略)調査の結果、原告側弁護士がChatGPTを使用して判例調査を行い、その結果を検証することなく書面に挿入していたことが判明した。書面には存在しない判例への引用、実在する判例からの架空の引用文、判例の内容を誤って伝える記述など、11項目にわたる重大な誤りが含まれていた。

この事件でひとつ押さえておきたいのは、裁判所によって咎められたのは、AIを使ったことではなく、AIの出力を人間が検証しなかったことだった点です。

では、その検証という場面において、「人間側が果たすべき仕事」とは、具体的に何なのでしょうか?「ちゃんと確認しましょう」で済むなら苦労はありません。問題は、なぜ確認が必要なのか、そして人間のどんな能力がAIの穴を埋めるのか、という点にあります。ここを詰めないまま「最後は人間がチェックすればいい」と言うのは、実は何も言っていないに等しいからです。

この記事では、その役割分担について私なりに考えてみたいと思います。

inductionvsdeduction-1

専門領域の"それらしい嘘"ほど見破りにくい理由


そもそも、なぜ生成AIのハルシネーションは、法律や医療のような高度専門領域で深刻な問題になるのでしょうか。その根っこにあるのは、いまの生成AI(大規模言語モデル、LLM)の思考の仕組みそのものです。

生成AIが普及していまや多くの人に知られているとおり、LLMは「これまで大量に読んだ文章の並びから、次に来る確率がいちばん高い言葉」を選び続けることで文章を作る装置に過ぎません。過去の膨大な事例から「だいたいこうなることが多い」というパターンを抽出して答えを組み立てる。これは論理学でいう帰納的推論(インダクション)、つまり個別の観察を積み上げて一般的な傾向を導く思考のやり方に、きわめて近いものです。

帰納は強力です。一般的な翻訳・要約はもちろん、契約書のドラフト作成といった専門的な仕事を含め、相場観の要る仕事の大半で圧倒的な戦力になります。ところが、帰納には構造的な弱点があります。「それらしさ」は保証できても、「正しさ」は保証できない点です。判例の引用でいえば、「この論点なら、こういう名前で、こういう判旨の判例がありそうだ」という"相場"に合った文字列を、実在の有無とは無関係に生成してしまうことがあります。

ここで正確を期しておくと、専門領域でハルシネーションが「起こりやすい」かどうかは、実は問題の本質ではありません。本当の問題は次の二点です。第一に、専門領域ほど独特の言い回しや引用形式がかっちり決まっているぶん、相場に合わせて作られた"それらしい嘘"は精巧になり、かえって見破りにくくなる点。第二に、法務や医療では一つの誤りが訴訟や健康被害に直結するため、間違いのコストが桁違いに大きい点です。

もう一つ、技術的な留保も入れておきます。「LLMは帰納しかできず、演繹はまったくできない」と断言するのは、正確ではありません。LLMは演繹"らしき"手順を踏むこともできますし、近年の推論特化型モデルは、答える前に思考のステップを展開することで論理課題の正答率をかなり引き上げています。ただし、それはあくまでトークン予測という統計的な土台の上で演繹的な振る舞いを模倣しているのであって、出力が論理的に筋が通っていることを、仕組みとして保証する機構は内蔵されていないのです。

実際、LLMの推論能力を帰納と演繹に厳密に切り分けて検証した研究は、LLMが帰納にはめっぽう強い一方、演繹には相対的に弱く、とりわけ前提が通常の慣行から外れる「反実仮想的」な設定では大きく崩れることを報告しています(詳細は後述)。矛盾した文章も、存在しない判例も、確率的にありそうであれば自信満々に出力してしまいます。

「最後は人間がチェックすればいい」で済まない事情


「だから最後は人間がチェックすることが重要だ」。そう考えたくなりますし、現にある種の呪文かおまじないのように繰り返し言われている言葉があります。いわゆる Human in the Loop(HITL)です。

けれども、HITLに頼りきることの危うさは、このブログでも何度か書いてきました。人間を一枚かませても、その人間がAIの出力に引きずられてしまえば、安全弁にはなりません。有名なのは放射線科医を対象にした実験で、AIが誤った読影候補を提示すると、経験の浅い読影者ほど大きく引きずられ、そしてベテランですらこの影響から自由ではありませんでした(Dratsch et al., Radiology, 2023)。「人が最後のボタンを押す」ことは、「その判断がAIから独立している」ことを意味しないのです。これは自動化バイアスと呼ばれる、かなり手強い現象です。

そこで問いを少し変えてみます。HITLを「人を挟むこと」ではなく「AIにできないことを人がやること」だと捉え直したら、その"人にしかできないこと"の中身は何なのでしょうか。

その一つであり重要な役割を担うものが、演繹的推論(ディダクション)です。帰納が「個別の事例から一般則を推し量る」思考なら、演繹は「一般則という大前提から、目の前の個別事案に当てはめて結論を導く」思考です。

「法とはこういう原則である」「わが社の行動基準はこうである」という大前提を先に立て、そこから論理を降ろしてきて、「この結論は原理に照らして本当に正しいか」を検証する。相場に合っているかどうかではなく、筋が通っているかどうか。統計的予測を土台とするAIが、その仕組み上もっとも保証できず、対して人間が意識的に切り替えて使える思考であると言えます。

AIに任せる帰納、人間が受け持つ演繹


人間の強みは、演繹ができること自体ではありません。帰納と演繹を、状況に応じて行き来できることです。法務の仕事に引き寄せると、この使い分けはたとえばこんな役割分担になるでしょう。

帰納が活きる場面:過去の類似契約から標準的な条項の型を引き出す。大量のNDAをさばきながら「これは相場から外れている」という当たりをつける。判例の傾向から「この手の事案はこう転ぶことが多い」と見通しを立てる。これらはAIが猛烈に得意で、人間もふだんは半ば無意識に帰納で処理しています。相場観の世界です。

演繹が活きる場面:目の前の一条項について、「なぜこの条項が要るのか」を条文や立法趣旨という大前提から説明する。相場では"普通"とされる落としどころが、自社ならではの不文律やまだ公開されていない今後の経営ビジョンに照らすとのめない、という食い違いを見抜く。前例のない取引スキームを、既存の法原則に当てはめて「この構成なら通る/通らない」を組み立てる。これらは、過去データの相場観だけでは決して答えの出ない世界です。

AIに一次ドラフトと相場観の提示(帰納)を任せ、人間はその出力を原則に当てはめて検証する(演繹)。冒頭のカンザスの事件を、この枠組みで見直してみましょう。

裁判所が要求した「検証」には二段階に分けられます。一つめの「判例が実在すること」。これはデータベースを引けば済む機械的な照合作業です。ここだけなら、検索ツールを噛ませたAIにも代替できるでしょう。しかし二つめの「その判例が引用された命題を支持していること」の確認は、性質がまったく違います。判例が立てた規範という一般則を読み取り、目の前の主張に当てはまるかどうかを吟味する。これは小さな法律意見書を一本書くのに等しい、純然たる演繹の仕事です。

カンザスの弁護士たちがサボったのは、単なる裏取りではなく、この当てはめの工程だった。だからこそ裁判所は、それを委任不能な弁護士本人の義務だと言ったのだと、私は理解しています。

似たような見立ては、AI研究の世界にもあった


こうした「帰納のAIを、演繹の人間が補う」という発想は、私の思いつきではなく、AI研究の論文でも近い形で論じられています。詳細は末尾の参考文献に譲り、ここでは要点だけ引用します。

LLMの推論能力を帰納と演繹に切り分けて検証した研究(Cheng et al. 2024)は、そもそもこの二つが混同されてきたと指摘したうえで、こう問いを立てています。

Despite extensive research into the reasoning capabilities of Large Language Models (LLMs), most studies have failed to rigorously differentiate between inductive and deductive reasoning... In LLM reasoning, which poses a greater challenge - deductive or inductive reasoning?

「LLMの推論において、演繹と帰納のどちらがより難関なのか」。この問い自体が、両者を別物として設計する必要があることを示しています。そして検証の結果は明快でした。純粋な帰納タスクを切り出すと、LLMはほぼ満点に近い性能を叩き出す。一方で演繹は相対的に弱く、とりわけ前提が通常の慣行から外れる「反実仮想」の設定で顕著に崩れると述べます。

これは法務パーソンにとって聞き捨てならない結果です。「世間の相場どおりの前提」なら型どおりに当てはめられるが、「自社だけの特殊な前提」を置いた瞬間に、AIは慣れ親しんだ相場のパターンへと引き戻されてしまう。そして法務の実務で本当に演繹が必要になるのは、まさにその「相場から外れた前提」の場面なのです。

では、AIに演繹をさせる工夫はないのか?帰納と演繹を段階的に組み合わせるプロンプト設計(De-In-Ductive法)を提案した研究(Cai et al. 2024)は、この工夫で正答率が一貫して向上することを示しました。ただし同じ論文は、それでも単純な論理パズルすら100%には届かない理由を、トークン予測という土台が「厳密な論理的一貫性を要求されるタスクには本質的に不向き」だからだと率直に認めています。そしてもう一つ、この論文には見逃せない一節があります。人間は帰納で仮説を立て、演繹でそれを検証するというモードの切り替えを動的に行えるのに対し、現在のLLMにはこの切り替えの柔軟性が欠けている、という指摘です。

法務AIの領域では、規則ベース(演繹)・判例ベース(帰納)・仮説形成(アブダクション)の推論を統合する枠組みが提案されています(Nguyen et al. 2025)。統計的なLLMの出力に、構造化された法的推論の検証層を重ねて、誤った条文適用をふるい落とす。まさに「帰納の出力を演繹で裏打ちする」発想の工学的な実装例です。

そして人間とAIの協働そのものを扱った研究(Hemmer et al. 2024)は、人間とAIのチームが単独をしのぐ「補完的チーム性能」の源泉を、能力の非対称性(互いに違うことが得意)と情報の非対称性(互いに違うものが見えている)に求めています。生成AIの弱点が統計的予測ゆえの論理的保証の欠如で、人間の強みが演繹的な当てはめと価値判断であるなら、これはまさに能力の非対称性が成立する典型例です。ただし同じ研究は、冷や水も浴びせています。この補完的チーム性能は、理屈のうえでは成立するはずなのに、実証研究ではめったに観測されていないというのです。

人間がAIに引きずられて独自の判断を手放してしまう、つまり自動化バイアスが働くと、非対称性は紙の上の話に終わる。私がこのブログで何度も述べてきたHITLの欠点の話に戻ってくるわけです。

私たちは何をきっかけに演繹に切り替えているのか


ここまでで、勘のいい読者のみなさんなら、一つの疑問に行き当たっているはずです。人間が帰納と演繹を使い分けられるとして、私たちは普段、いったい何をきっかけに、そのスイッチを切り替えているのでしょうか?

自分の仕事を振り返って、私なりに答えを言葉にすると、切り替えのトリガーは三つあるように思います。

一つめは、違和感です。過去の相場観(帰納)で案件を処理しているときに、ふと「なんか変だ」という信号が立つ瞬間。この条項だけ妙に一方的だ、この金額はさすがに桁が一つ多くないか、この相手はなぜここだけ強硬なのか。面白いのは、この違和感そのものが、大量の事例を積み上げてきた帰納の産物だという点です。相場を知っているからこそ、相場外れに気づける。帰納が、演繹を起動させる引き金になっているのです。「統計的な外れ値検知ならAIにもできるのでは」と思われるかもしれません。確かに、別の仕組みを外付けすれば近いことはできます。しかし、文章を生成している当のモデル自身は、自分の出力を独立の基準で監査できません。同じ相場観の中で自己点検をしても、相場ごと間違っているときには何も検知できない。だから、相場から外れた出力も、平然と、むしろ自信満々に差し出してくる。自分の「変だ」を自分で発火させられないから、暴走にブレーキがかからないのです。

二つめは、不可逆性です。「これは間違えたら取り返しがつかない」と感じた瞬間、人は相場観のモードから、原理原則にさかのぼって一つずつ確かめるモードへ切り替えます。捺印の直前、開示するかどうかの判断、撤退の可否。人間の違和感が単なる異常検知と違うのは、それが「これを自分の責任で通してよいのか」という利害と結びついた信号だからです。重さを感じ取ったときに、演繹のギアが入る。

三つめは、説明責任を果たすための「なぜ?」という自問自答の習慣です。相場感だけでは「普通はこうします」で通してしまう。ところが「それはこのケースにおいても妥当するか、なぜそうなのか、根拠は何か」と不断に問う習慣によって、条文や立法趣旨という大前提までさかのぼらざるをえなくなる。説明責任が、演繹を強制するのです。

そう考えると、法務パーソンの仕事の質は、このスイッチをどれだけ的確に、遅れずに押せるかにかかっているとも言えます。そしてAIの本当の弱点も、ここで輪郭があらわになります。先ほどの研究が指摘していたとおり、AIに欠けているのは演繹の"真似"をする能力ではなく、いつ演繹へ切り替えるべきかを自分で判断するトリガーのほうなのです。違和感も、不可逆性の感覚も、説明責任の重みも、AIの側からは発火しない。だからこそ、人を一枚挟んでも、その人が相場観のまま(自動化バイアスのまま)流してしまえば、切り替えは起きず、カンザスの事件のように架空の判例がすり抜けていくのです。

スイッチを意識的に切り替える


いまの生成AIは、統計的・帰納的な予測を土台とする、きわめて優秀な相場観の装置です。だからこそ、それらしい嘘をつく。そしてその嘘は、人間が演繹に切り替えて、大前提に当てはめて検証したときにだけ、はじめて暴かれます。

Human in the Loop は、ただ人を挟むことではありません。挟まれた人間が、相場観の帰納モードから演繹モードへ、意識的にスイッチを切り替えること。そこまでやって、ようやく安全弁になります。違和感を捉え、不可逆性を感じ取り、「なぜ」に立ち返る。その引き金を、自分の意志で引けるかどうか。

AIを脅威だと感じる人と、武器として使いこなす人。両者を分けるのは、AIの知識量でも、プロンプトの巧みさでもありません。AIが決して持てない"切り替えのスイッチ"を、自分の手の中に握っていると自覚し、それを意識的に、上手に押せる人。それが、これからの法務でAIを味方につけられる人の条件だと考えます。

その意味で、私たちがまず鍛えるべきなのは、AIの使い方ではなく、自分がいまどちらのモードで考えているのかを、いつでも自問できる感度のほうなのだと思います。

参考文献