「人間がレビューしたから安全」という錯覚

前稿で、生成AIは解決ではなく満足を返すと述べた。本稿で問いたいのは、その出力を「人間がレビューしたから安全」と言えるのか、という一点である。筆者たちは今、何に直面しているか。

Claude、GPT、Geminiといったフロンティアモデルの出力は、人間の専門家が書いた文章と区別がつかない水準に達している。フェイク動画もAI生成シーンも、もはや見分けがつかない。問題は、品質が高すぎることそのものではない。

その完璧に見える見た目の中に、原理的に避けられないもっともらしい嘘が紛れ込んでいることである。だから、人がレビューしても、そこに潜むハルシネーションを見抜けない。

GXPの世界で考えてみよう。SOP、バリデーション報告書、変更管理記録、CAPAーーこれらの文書の品質は、規制当局からの信頼の基盤である。それをAIに書かせると、見た目の完璧なものが出てくる。

だが、たとえベテランのQA担当者でも、もっともらしい嘘が紛れ込めば見抜くのは極めて困難だ。人は見た目で判断してしまうからである。従来のHuman in the Loop（HITL）は、レビュアー側がAIより高い判断能力を持つことを暗黙の前提にしてきた。

人間が最終責任を持ち、人間が承認する。GXPはこのDNAで動いてきた。

ここで規制の整理を正確にしておきたい。人間が最終責任を負うという要求は、GMPや、ISO 13485:2016を取り込んで2026年2月2日に施行されたQMSR（21 CFR Part 820の改正）といった上位規則（predicate rules）とその運用に根ざす。一方、FDAの21 CFR Part 11は、電子記録・電子署名の真正性・完全性に加え、監査証跡（audit trail）、システムバリデーション、アクセス統制、記録の保護まで広く求める規則であって、帰属の確認にとどまらない。だがPart 11はあくまで記録・署名を電子で行う際の統制を定める規則であり「人間が最終承認せよ」と命じる根拠は上位規則の側にあるーー両者は射程が異なるのだ。

その前提の上にGXPは築かれてきた。だが、最新モデルの出力が人間の専門家に追いつき、見た目の流暢さでは上回りつつある現在、その前提は静かに揺らいでいる。レビュアーがAI以上に判断できる、という土台が崩れかけているのだ。

抽象論ではない。見抜けなかったのは素人ではなく、専門家である。米国ニューヨーク南部地区連邦地裁のMata v. Avianca事件では、弁護士がChatGPTの生成した実在しない6件の判例を引用した書面を提出し、2023年6月22日、Castel判事が当該弁護士らと事務所に連帯で5,000ドルの制裁金を科した。

指摘後も虚偽を取り繕おうとした点、すなわち裁判所への誠実性（candor）の欠如も重く見られた。出典確認が職業上の絶対要件である法曹が、である。学術の世界でも、機械学習分野の主要会議ICLR 2026の査読について、ある分析は約7万件のうち約21%が完全にAI生成と判定されたと報じている。

検出ツールによる推定ではあるが、本来は専門家が読むべき査読にAIが深く関与していた疑いが、相当数あったわけだ。ここで誤解を避けたい。これは「誰それの力量が低い」という個人の問題ではない。AIの出力が人間の検証能力を超えうるという、構造的な問題である。

分かったつもり、見た目への信頼、限られた時間ーーこうした条件が重なれば、検証の密度はどうしても下がる。それが起きた瞬間、HITLは形式的になる。「人がレビューした」という記録だけが残る形骸化は、誰の身にも起こりうる。

ならばどうするか。「AIが言ったから」が通用しないのと同様に「AIが書いたものを人間がレビューしたから安全」もまた、そのままでは通用しない。AIの精度が上がるほど、ハルシネーションは気づかれないまま通過する。

これは技術の問題であると同時に、運用設計の問題である。人間の検証能力の限界を正面から認めたうえで、それを補完する仕組みをどう組み込むか。次稿以降で、その具体策に踏み込みたい。

この分野の解説動画