Human-in-the-Loopの重要性：AI時代における人間の役割

2025.09.16
2026.10.16

はじめに：AIと人間の協働という新たなパラダイム

人工知能（AI）技術が急速に発展する現代において、「Human-in-the-Loop（HITL）」という概念が特に重要性を増している。これは、AIシステムやアルゴリズムの意思決定プロセスに人間が継続的に関与し、監督・介入できる仕組みを指す。完全自動化を目指すのではなく、重要な判断において人間の専門知識と判断力を組み込むアプローチである。特に医薬品・医療機器分野では、人命に関わる判断の重要性から、このアプローチが規制要件としても位置づけられている。

Human-in-the-Loopの基本概念

定義と主な特徴

HITLは、AIが提案や分析を行い、人間が最終的な判断・承認を行うシステムである。これは単なる技術的アプローチではなく、人間とAIが協働して作業を進める枠組みを提供する。
主な特徴として以下が挙げられる。

人間による最終判断権の保持：重要な意思決定において、人間が最終的な権限を持つ
AIの出力に対する人間の検証機会：AIが生成した結果を人間が確認し、必要に応じて修正できる
継続的な学習とフィードバック：人間の判断をAIが学習し、システム全体が改善される
透明性と説明可能性の確保：判断プロセスが理解可能で、説明責任を果たせる

代表的な運用形態：事前承認型

HITLの代表的な運用形態の一つが、AIの出力を人が確認し、承認したものだけを次の工程へ進める方式（事前承認型）である。製造ラインにたとえると、ラインの途中に検査員が立ち、流れてくる製品を一つずつ見て、合格したものだけを次の工程へ送る状態に当たる。検査員が席を外せばラインは止まる。この「ラインの中に人がいる」状態が、事前承認型のHITLのイメージである。

AIに置き換えると、AIが答えを出しても、それだけでは次の工程に進めず、人が中身を確認し、承認して初めて次に進むことになる。「AIは下ごしらえまで、決めるのは人」という形であり、現在のAI導入で採用しやすい方式の一つである。

HITLの実装レベル

HITLには、人間の関与度に応じて3つのレベルが存在する。

Human-in-Command（人間主導型）
AIは補助的役割に留まり、人間が主導権を完全に保持する。診断支援AIや文献検索支援などがこれに該当する。医師がAIの提案を参考にしながら、自身の判断で診断を下すケースが典型例である。
Human-on-the-Loop（人間監督型）
AIが主要処理を実行し、人間が監視・介入する形態である。製造プロセス監視や異常検知システムなど、通常時はAIが自動処理を行い、異常時や重要な判断時に人間が介入する。
Human-in-the-Loop（人間関与型）
AIと人間が真に協働し、重要判断で人間の関与が必須となる。臨床試験データ解析や規制判断など、AIの分析力と人間の専門知識を組み合わせて最適な結果を導き出す。

用語の出どころと分類の違い

ループの内側・外側という整理を広く知らしめた代表的な文献の一つが、自律型兵器を論じた2012年11月のHuman Rights Watch・ハーバード大学国際人権クリニックの報告書『Losing Humanity』である。同報告書は、human-in-the-loop／human-on-the-loop／human-out-of-the-loopという類型を提示した。ただし、これはHITLという概念そのものの起源ではなく、上記の三分類の初出でもない点には注意が必要である。

一方、EUのAIに関するハイレベル専門家グループ（High-Level Expert Group on AI、AI HLEG）『信頼できるAIのための倫理ガイドライン』（2019年4月）は、人間による監督（human oversight）の方式として、HITL・HOTL（Human-on-the-Loop）・HIC（Human-in-Command）を提示している。同ガイドラインにおけるHICは、AIシステム全体の活動と影響を監督し、個別の状況で、使用しないことを含め、いつ、どのように使用するかを決定する立場とされている。つまり、HRW報告書の第三の類型はHuman-out-of-the-Loopであり、EU HLEGの第三の類型はHuman-in-Commandである。両者は目的も文脈も異なる別個の整理であって、連続した同一の三分類として説明することはできない。

なお、このガイドラインは法的拘束力のある規制ではなく、専門家グループによる倫理ガイドラインである。同ガイドラインはHITLについて「あらゆる意思決定サイクルに介入できる能力。これは多くの場合、可能でも望ましくもない」と記している。この記述は全件確認を不要とするものではなく、あらゆる意思決定サイクルへの介入が現実的でない場合もあるため、リスクと用途に応じてHITL、HOTL、HICなどの監督方式を選択し、必要に応じて組み合わせることを示している。

医薬品・医療機器分野における規制要件

グローバルな規制動向

医薬品・医療機器分野では、各国の規制当局がHITLアプローチを重視している。

FDA（米国食品医薬品局）
2025年1月6日に公開されたAI医療機器ドラフトガイダンスにおいて、人的要因工学（human factors engineering）評価を必須とし、HITLを重要な要素として位置づけている。また、2024年12月には事前変更管理計画（PCCP）の最終ガイダンスも発行された。
特筆すべきは、2025年6月2日に正式運用を開始したProject Elsaである。これは薬事監視業務でのHITL実装の具体例であり、AIが文献スクリーニングと要約を行い、有害事象報告の要約支援や臨床プロトコル審査の効率化を実現している。重要なのは、高セキュリティのGovCloud環境で運用され、人間による最終判断を維持している点である。
EU（欧州連合）
2026年8月2日に主要規定の適用が開始されるAI規則において、高リスクAIシステムに対して人間による監督を義務化している。医療分野のAIは、Article 6(1)(b)により自動的に高リスクカテゴリーに分類され、MDRクラスIIa以上の医療機器は自動的に高リスクAIとして扱われる。適切な人間の監督なしには運用できない仕組みが確立されている。
日本
厚生労働省は、AI医療機器の評価においてHITLアプローチを推奨している。特に診断支援システムでは、医師による最終判断を前提とした承認プロセスが確立されている。

FDA Project Elsaから学ぶHITLの実践と教訓

Project Elsaの具体的成果と課題

2025年6月2日に運用開始されたFDA Project Elsaは、HITLの重要性を実証する貴重な事例となっている。

具体的な成果

レビュー時間を数時間から数日短縮
薬事監視業務の効率化を実現
文献スクリーニングと要約の自動化により、専門家がより高度な判断に集中可能

初期展開で明らかになった課題

出力品質のばらつきとバージョン管理の問題が発生
これらの品質問題により、人間による監督の重要性が再確認された
ハルシネーション（AIの誤った情報生成）対策として、文書ライブラリ使用時の引用必須化を実装

これらの経験は、HITLアプローチの必要性を実証するものであり、AIの効率性と人間の判断力の両立が不可欠であることを示している。30日以内の継続的な機能改善も計画されており、人間のフィードバックに基づく改良が続けられている。

実世界での具体的な活用例

1. AI診断支援システム

放射線画像診断において、AIが画像解析を行い、異常の可能性がある箇所を検出・マーキングする。しかし、診断候補の提示に留まり、最終診断と治療方針の決定は必ず医師が行う。このシステムにより、見落としのリスクを減らしながら、診断の効率と精度を向上させている。

2. 薬事監視システム

FDA Project Elsaが典型例である。有害事象の検出において、AIがビッグデータから潜在的なシグナルを検出し、文献の要約を提供する。しかし、そのシグナルの医学的評価と対応決定は、必ず薬事監視の専門家が行う。初期展開での品質問題は、この人間による最終判断の重要性を改めて証明した。

3. 品質管理システム

製薬工場の品質管理では、AIが製造データをリアルタイムで分析し、異常を検知する。品質担当者は、AIが検出した異常に対して根本原因分析を行い、是正措置を決定する。これにより、品質問題の早期発見と適切な対応が可能となる。

4. 臨床試験データ解析

大規模な臨床試験データの解析において、AIが統計的パターンを抽出し、潜在的な有効性・安全性シグナルを検出する。しかし、その臨床的意義の評価と規制判断は、医学専門家と統計専門家が共同で行う。

5. 逸脱調査・SOP改訂・文献スクリーニング

逸脱調査では、AIが過去5年の類似事例を10件提示し、担当者が1件ずつ「これは本当に似ているか」を確かめ、採用するものを選んでから調査に使う。SOP改訂では、AIが改訂案の文章を作り、担当者が内容を確認して必要な修正を行い、所定の照査・承認手続きを経て発行される。文献スクリーニングでも、AIが該当する可能性のある論文を挙げ、担当者が原文や抄録を1件ずつ確認して採否を決める。いずれも「AIは下ごしらえまで、決めるのは人」という事前承認型のHITLの典型例である。

実装上の重要ポイント

1. 透明性の確保とハルシネーション対策

AIの判断根拠を人間が理解できる形で説明可能にすることが不可欠である。FDA Project Elsaでは、ハルシネーション防止のため、文書ライブラリ使用時に引用を必須化している。ブラックボックス化を避け、判断プロセスの透明性を確保することで、人間が適切な介入判断を行える。

2. 適切なタイミングでの人間介入

リスクレベルに応じた介入ポイントの設定が重要である。低リスクの判断はAIに委ね、高リスクの判断では人間の関与を必須とする。FDA Project Elsaの初期品質問題は、この判断基準の重要性を浮き彫りにした。緊急時には即座に人間が判断できる仕組みと、段階的なエスカレーションプロセスの構築が必要である。

3. 人間の能力維持と継続的改善

AI依存によるスキル低下を防ぐため、継続的な教育・訓練が不可欠である。Project Elsaでは30日以内の機能追加が予定されており、人間のフィードバックに基づく継続的改善が組み込まれている。AIを使いこなすための新しいスキルの習得と、専門知識の維持・向上の両立が求められる。

4. 人の判断を残すべき場面の切り分け

すべての工程に人を置くのではなく、機械的な判定になじまない判断を人の判断として残すことが重要である。具体的には、以下のような判断が該当する。

その事例が本当に類似しているか
根本原因の推定が妥当か
その逸脱を重大とするか軽微とするか
CAPA（是正措置・予防措置）が必要か

これらは「記録番号が入っているか」のように、適合／不適合を機械が形式的に判定できる項目とは性質が異なる。単純な形式チェックだけでは完結せず、品質への影響、利用可能な証拠、規制上の要求などを踏まえた責任ある判断を必要とする。AIは候補提示や論点整理を支援できるが、最終判断の責任主体と承認権限は明確にしておかなければならない。

逆に言えば、機械的に判定できる部分と、人の判断を要する部分を切り分けることが、設計の第一歩である。HITLは既定値ではない。対象業務のリスク、判断の性質、法令・手順上の要求を踏まえ「なぜ人が介入するのか」「誰が判断するのか」「何を確認するのか」「判断根拠をどう残すのか」を説明できる形で配置する統制である。

メリットと課題

HITLの利点

安全性の向上
人間による最終チェックにより、AIの誤判断による深刻な結果を防げる。Project Elsaの初期品質問題は、この安全機構の重要性を実証した。
説明責任の明確化
人間が最終責任を負うことで、法的・倫理的な責任の所在が明確になる。これは医療過誤や製品責任の観点から不可欠である。
規制適合性
FDA、EU、日本などの規制要求に対応でき、承認取得や市場導入がスムーズに進む。2026年8月のEU AI規則施行に向けた準備においても重要である。
継続的改善
人間のフィードバックによりAIの性能が向上し、システム全体の質が高まる。Project Elsaの継続的改善プロセスがこれを実証している。

直面する課題

効率性とのバランス
人間介入により処理時間が増加するが、Project Elsaでは数時間から数日の短縮を実現し、適切なバランスを見出している。
品質管理の複雑性
Project Elsaの初期展開で発生した品質問題は、AIシステムのバージョン管理と品質保証の複雑性を示している。
コスト増加
専門知識を持つ人材の継続的な確保と訓練にはコストがかかる。特に医療分野では、高度な専門性が要求されるため、人件費が高額になりやすい。
人間エラーリスク
過度のAI依存による注意力低下（後述の自動化バイアス）や、疲労による判断ミスのリスクが存在する。適切な作業負荷の管理が必要である。

人を置けば品質が守られるとは限らない

HITLを導入し、人を処理の中に置けば品質が守られる、とは限らない。その理由として、以下の三つが挙げられる。

見落とす
当社主催のAI Compliance研究会の第10回で行ったブラインドレビュー演習では、AIが書いた文章と専門家が書いた文章の区別が難しく、もっともらしい誤りを検出することの難しさが観察された。ただし、これは当該演習の条件下で得られた結果であり、人によるレビュー全般の有効性を否定するものではない。
慣れる
毎回OKが続くと、確認はいつのまにか形式になる。これは自動化バイアス、すなわちAIシステムの出力に自動的または過度に依拠する傾向と呼ばれ、EU AI Act（Regulation (EU) 2024/1689）第14条第4項(b)にも、列挙された要件の一つとして明記されている。同条は高リスクAIシステムに対する人間による監督を定めた規定であり、一般的なAI利用のすべて、あるいはGxP用途のすべてに直接適用されるわけではないが、規制文書がわざわざ項目として挙げるほど、よく知られた現象である。
判断根拠が記録されないことがある
承認の事実だけを残す運用では、何を確認し、どの根拠に基づいて判断したのかを後から説明できず、査察で問われたときに示せるものが少ない。これはHITLそのものの限界ではなく、レビュー項目と記録要件の設計上の問題である。

今後の展望

技術的発展

説明可能AIの進歩により、より効果的なHITL実装が可能になっている。リスクベースアプローチによる最適な介入ポイントの設定や、デジタルツインとの連携による予測精度の向上など、技術革新が続いている。

規制環境の進化

2026年8月のEU AI規則施行、FDAの継続的なガイダンス更新など、HITL要件の標準化が進展している。国際的なガイドラインの統一が図られ、バリデーション手法の確立により、HITLシステムの品質保証がより体系的に行えるようになることが期待される。

適応的な介入システム

AIの確信度に応じて、人間の介入レベルを動的に調整するシステムが開発されている。高い確信度の場合は自動処理し、不確実な場合のみ人間に判断を求めることで、効率性と信頼性のバランスを最適化できる。

結論：実証されたHITLの価値と未来への道筋

Human-in-the-Loopは、AI技術の進歩と規制要件のバランスを取りながら、安全で信頼性の高いシステムを構築するための重要なアプローチである。FDA Project Elsaの実例は、HITLの理論的重要性だけでなく、実践的な必要性を明確に示している。初期展開での品質問題は、完全自動化の限界と人間による監督の不可欠性を実証した。
特に医薬品・医療機器分野では、人命に関わる判断の重要性から、このアプローチがますます重要性を増している。2026年のEU AI規則施行、FDAの継続的なガイダンス整備など、規制環境もHITLアプローチを前提とした方向に進んでいる。一方で、人を置くだけで品質が守られるわけではない。見落としや自動化バイアス、判断根拠の記録不足といった限界を踏まえ、「なぜ人が介入するのか」「誰が何を確認し、判断根拠をどう残すのか」を説明できる形で設計することが求められる。
完全な自動化を追求するのではなく、人間とAIがそれぞれの強みを活かして協働する未来こそが、より安全で信頼できる医療の実現につながる。技術の進歩は止まることなく続いていくが、人間の専門性、倫理観、そして責任感は、どれだけAIが高度化しても代替できない価値である。
HITLは単なる技術的なアプローチではなく、人間の尊厳と専門性を保ちながら、AIの恩恵を最大限に活用するための哲学的な指針でもある。Project Elsaの経験が示すように、私たちは今、AIと人間が真に協働する新しい医療の時代の入り口に立っている。その成功の鍵となるのが、まさにHuman-in-the-Loopという考え方なのである。

参考文献

Human Rights Watch / Harvard Law School International Human Rights Clinic, Losing Humanity: The Case against Killer Robots（2012年11月）
https://www.hrw.org/report/2012/11/19/losing-humanity/case-against-killer-robots
High-Level Expert Group on AI, Ethics Guidelines for Trustworthy AI（2019年4月）
https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai
Regulation (EU) 2024/1689（EU AI Act）第14条
https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689