ハルシネーション対策 — レビュは”人”がやるべきか

生成AIの中核をなす技術は、Transformer（トランスフォーマー）と呼ばれるアーキテクチャである。もともとはGoogle翻訳の精度改善を目的として生み出されたものであり、その仕組みが今日の生成AI全般の基本となっている。

このTransformerは、文章を「次に来る単語」を確率的に選びながら生成していく。例えば「医療機器」問う単語の次につながる単語は「の故障」〇%「の事故」〇%「の設計」〇%などである。とても賢く見えるが、裏を返せば、事前に学習していない——つまり”知らない”——事項に対しても、それらしい単語をつなげて、もっともらしいストーリーをでっち上げてしまうという弱点を抱えている。これがいわゆる「ハルシネーション（幻覚）」であり、生成AI活用における最大の問題とされている。

この問題への対策として「だからこそ生成AIはドラフト作成までで使用し、人がレビュすべきだ。」という意見が数多く聞かれる。しかし、筆者はそうは思わない。

なぜなら、人もまたヒューマンエラーを犯すからである。人によるチェックは、網羅性や完全性の面でも決して万全とは言えない。むしろ、こうした点こそAIが得意とする領域である。

筆者が提案するのは、次のような手順である。

1. まず、生成AIが作成した文書を、検索系AIであるPerplexity（パープレキシティ）にそのまま貼り付け、Factチェックを行わせる。
2. 次に、そのFactチェック結果を、今度は元の生成AIにそのまま戻す。
3. すると生成AIは、チェック結果を踏まえて原稿を自ら加筆・修正する。

つまり筆者の考え方は「作成だけでなく、レビュもAIにやらせるべきだ」というものである。理由は前述のとおりである。この作成→Factチェック→修正のサイクルを、エラーがなくなるまで何度も繰り返す。

そして最終段階で、生成AIに修正履歴（＝監査証跡）を出力させ、これを人がレビュする。レビュにおいては、生成AIの加筆修正に問題がなかったか、生成AIの不得意な分野（別の機会に解説予定）を中心にチェックすることになる。問題がなければ、責任者が承認する。ここで初めて人が登場するわけである。

この方法をとれば、従来のように人が一から文書を作成し、レビュし、承認する場合と比べて、時間は大幅に短縮され、なおかつ文書の品質も向上する。こうした生成AIの使い方こそ、これからの品質管理・品質保証の「基本形」になっていくのではないだろうか。

本ワンポイントでは、今後こうした「生成AIを品質管理・品質保証に適切に応用する方法」について、実践的に論じていく予定である。

この分野の解説動画