Human on the Loop とは

人が「止める」方式

1.ラインの中ではなく、監視室に座る

Human-in-the-Loop（ヒューマン・イン・ザ・ループ、以下HITL）を「ラインの中に検査員が立っている状態」とすれば、Human-on-the-Loop（ヒューマン・オン・ザ・ループ、以下HOTL）は、その検査員がラインの外に出て、監視室の計器の前に座っている状態である。ラインは自動で流れる。人は一つずつ見ない。

しかし異常が出れば警報が鳴り、人は非常停止ボタンを押す。inとonの一文字違いだが、人の介入が「毎回」か「例外時のみ」かという点で、行動と記録の設計は大きく変わる。HITLは、人が確認するまで次に進まない「事前承認型」であり、HOTLは、機械が既定で進め、逸脱を検知した時点で人がリアルタイムに介入して止める「例外時介入型」である。ここでいう介入は、処理がすべて終わってから記録を後日振り返る事後レビューとは異なり、その場で流れを止める能力を指す。

ただし両者は対立概念ではない。監督の強さ・頻度は連続的に変化しうるものであり、HITLとHOTLはそのスペクトラム上にある二つの代表的な運用形態と捉えるのが正確である。どちらを選ぶかは、工程の成熟度ではなく、その工程固有のリスク評価に基づいて決めるべきものであり「HOTLへの移行」が到達すべきゴールというわけではない。

2.同じ業務を、二つの方式で書き分ける

逸脱の類似事例検索を例にとる。

• HITL：AIが検索結果を出す → 担当者が毎回内容を確認して承認する → 調査に使う。
• HOTL：AIが検索結果を出す → 「各結果に記録番号があるか」「原記録へ接続できるか」など、あらかじめ定めた複数項目の形式チェックを機械が自動判定する → 全項目に合格すれば、人の承認を待たずに調査責任者へ配布される → 原記録へ接続できない結果が、あらかじめ定めた許容閾値を超えたら自動的に停止し、調査責任者へ通知が飛ぶ。

つまり人は「全部を逐一確認する」のをやめ、個別の判断は「止まったときだけ出ていく」形に変わる。ただし、停止が一件も起きない期間でも、監視の仕組みそのものが機能しているかを定期的に確認する役割は残る。減っているのは個々の確認の回数であって、業務責任者が負う判断責任や、監視体制を維持する責務ではない。

3.定義の核心は「上書きできること」

HOTLという整理を広く知らしめた文献の一つが、自律型兵器を論じた2012年11月のHuman Rights Watch・ハーバード大学国際人権クリニックの報告書『Losing Humanity: The Case against Killer Robots』（2012年11月19日）である。同報告書は、Human-on-the-Loop Weaponsを「目標の選択と攻撃の実行が、ロボットの行動を上書きできる人間の操作者の監督下にある」状態と定義した。上書き権限が定義そのものに含まれている点が重要である。

なお、この定義はあくまで自律型兵器を対象としたものであり、本稿ではその考え方をGxP／製薬品質システムの文脈に応用して説明している。同じ2012年11月には米国防総省指令3000.09『Autonomy in Weapon Systems』（同月21日）も発行されているが、こちらは「human-on-the-loop」という用語自体を用いておらず、別の文書である点にも注意されたい。

止める仕組みが機能しない自動化、あるいは上書きする権限が実質的に行使できない自動化は、監督とは呼べない。「監視しています」と言うためには、実際に機能する停止の仕組みと、止める権限を持った人が必要である。仕組みが文書上は設計されていても、その停止機能が試験されていなければ、監督が成立しているとは言えない（5参照）。

4.HOTLへ移してよいかを見る4つの問い

筆者は、次の4つにすべてYesで答えられることを、HOTL候補として検討してよいかを見る一次条件として提案している。ただし、これは適格性の入り口にすぎず、4つYesがそのままHOTL運用の開始を意味するものではない（詳細は5）。

1. 合否を機械的に判定できる受入基準があるか
   「よくできているか」ではなく、「記録番号が入っているか」のように、プログラムがYes／Noを返せる形で書けるか、ということである。
2. 誤りを検出する独立した統制があるか
   AI自身の自己採点ではなく、別の仕組みが誤りに気づけるか。
3. 誤った処理を取り消し・修正・再実行できるか
   検索結果は捨てて再実行できる（可逆）。一方、社外へ送ってしまった文書は取り消せない（不可逆）。
4. 患者安全・製品品質・データ完全性への直接影響が限定的か
   この判断だけは機械的に下せるものではなく、品質部門を含めたリスク評価によって都度判断する必要がある。

ひとつでもNoであれば、その工程は現時点ではHITL（人が都度確認・承認する方式）とする。これは恒久的な区分ではなく、工程の設計を見直し、受入基準や独立統制を整備できれば、後日あらためてHOTL移行を検討できるという意味である。逆に、影響の大きさによっては、HITLであっても通常より厳格な確認体制が必要になる場合がある。

難しく考える必要はない。「機械で合否を出せるか」「誰かが気づけるか」「元に戻せるか」「外したときの影響はどこまでか」この4つである。なお、この4条件は規制要求ではなく、筆者独自の実務指針である。考え方としては、リスクの大きさに応じて管理の程度を決めるというICH Q9のリスクベースアプローチの延長線上にあり、既存の品質リスクマネジメントの枠組みと矛盾するものではない。

5.4つYesでも、まだ運用は始めない

これらは用途の適格性を見る問いにすぎない。実際に動かし始める前に、次が揃っていることを確認する。

• 適用範囲と禁止動作の承認
• 監査証跡の生成と保護
• 停止条件とエスカレーション先の定義、およびエスカレーション先が所定時間内に対応できる体制
• 停止機能・通知機能が試験済みであること
• 変更管理と定期レビューの定義（AIモデル・アルゴリズムを変更した際に4条件を再評価する仕組みを含む）
• 監視担当者が停止基準とエスカレーション手順を理解していることの教育・訓練
• 残留リスクについて、業務責任者および品質部門の承認

6.記録は軽くならない。示すべき証拠の種類が変わる

HOTLにすると記録が軽くなる、というのは誤解である。人が全件を確認していない以上「監視が効いていたこと」自体を証明しなければならない。

承認者の署名という単一の記録だけでは足りず、受入基準の判定結果と使用した基準の版、監視機能が正常に稼働していたこと、停止条件が発火しなかったこと（あるいは発火して適切に処理されたこと）といった事実を、システムのログとして残すことになる。人が個別に記録を書く手間は減っても、査察対応に必要な証拠の種類は、HITLのときより多くなりやすい。

ただし、ログが増えれば済むという話でもない。監視が有効に働いていたことを立証できる形に整理されていなければ、量が増えても説明力は上がらない。査察対応で重要になるのは「本当に見ていましたか」という問いへの回答そのものではなく「見ていたことを、どう示せますか」に答えられる証拠があるかどうかである。HOTLは人を減らす話ではなく、人が座る場所と、残すべき証拠の種類を変える話である。

参考文献

1. Human Rights Watch / Harvard Law School International Human Rights Clinic, Losing Humanity: The Case against Killer Robots（2012年11月19日）
   https://www.hrw.org/report/2012/11/19/losing-humanity/case-against-killer-robots
2. U.S. Department of Defense Directive 3000.09, Autonomy in Weapon Systems（2012年11月21日）
   https://www.esd.whs.mil/portals/54/documents/dd/issuances/dodd/300009p.pdf
3. ICH Q9(R1) Quality Risk Management
   https://www.ich.org/page/quality-guidelines

この分野の解説動画