生成AIと医療機器の論点

「患者への説明文も、所見の下書きも、生成AIに作らせれば効率化できる」ーー聞こえはよい。だが、医療機器に生成AI（文章や画像を作り出すAI）を組み込もうとすると、従来のAIにはなかった厄介な問題に直面する。出力が、そのつど変わりうるのだ。

同じ入力を与えても、まったく同じ答えが返るとは限らない。ときに、もっともらしいが誤った内容ーーいわゆる「幻覚（ハルシネーション）」ーーを、堂々と生成してしまう。従来の医療機器AIの多くは、画像から病変らしき箇所を指し示す、といった限定された判定を返してきた。

答えの範囲が決まっているぶん、正解と照らし合わせて性能を測れる。ところが生成AIは、無数にありうる文章や画像を自由に作り出す。出力の幅が広すぎて、「正しく動いているか」を有限のテストで確かめ切ることが、原理的に難しい。ここに、生成AI特有の検証の壁がある。

この問題は、筆者がかねて強調してきた「バリデーションとベリフィケーション」の違いを思い起こさせる。ベリフィケーション（検証）は、決めた仕様どおりにできているかを一つひとつ確かめる、いわば過去形の作業だ。全数チェックできる工程なら、これで足りる。

だが滅菌や溶着のように、結果を後から確認し切れない工程には、プロセスそのものの妥当性を確かめるバリデーションが要る。生成AIは、まさに後者に近い。出力を一つずつ正誤判定して全体を保証することはできないから、出力を生み出す仕組みと、その使い方の妥当性を、丸ごと確かめにいくしかない。一件の答え合わせでは、生成AIの安全は語れないのである。

だからこそ、生成AIを医療機器に載せる際は「AIが最終判断を下さない」設計が、現実的な落としどころになりやすい。出力はあくまで下書きや候補として示し、必ず人間が確認して責任を持つーーそう役割を限定すれば、幻覚のリスクを人の目で受け止めやすくなる。もっとも、人の確認は万能の安全装置ではない。

流暢な出力ほど鵜呑みにされやすい「自動化バイアス」があり、患者自身が読む用途では、読み手が誤りを見抜くことを前提にしにくい。人が確認する設計にするなら、その確認が実際に機能するかまで確かめる必要がある。ここでも効くのが使用目的の設計だ。

ただし「診断」を「補助」と言い換えれば規制が軽くなるわけではない。日本では、医師の診断補助を目的とするプログラムも「診断」を意図するものとして扱われる。重さを左右するのは表示の言い回しではなく、機能の中身ーー文書作成などの業務の下書きにとどまるのか、診療上の判断に使う情報を出すのか、診断の確定や処方のような「行為」まで担うのかーーである。

しかも生成AIは、標榜した範囲を超えて、もっともらしい診断めいた回答をしてしまうおそれがある。何を主張し、何を主張しないか。生成AIでは、その線を言葉で引くだけでなく、仕組みで守ることが、いっそう重い意味を持つ。

実務では、生成AIの出力そのものを縛る工夫も進んでいる。回答できる範囲をあらかじめ限定する、根拠となった情報源を必ず示させる、確信度の低い出力には警告を添えるーー出力を野放しにせず、危険な逸脱を仕組みで抑え込む。ただし、示された根拠が本当に出力を裏づけているか、警告の基準となる確信度が実態と合っているかも、それ自体が検証の対象になる。

自由に語らせるほど検証は難しくなるのだから、あえて語れる幅を狭める、という逆説的な設計が要る。生成AIは、答えを作り出す力を持つがゆえに、間違いも堂々と作り出す。問われているのは、その不確実さを承知のうえで、どこまでを任せ、どこからを人が引き受けるか、という設計である。作り出す力に、見届ける責任が追いついて初めて、生成AIは医療の道具になるのである。

この分野の解説動画