1. HOME
  2. ブログ
  3. AI
  4. EU AI Act 第14条の概要
お役立ち情報

AI

EU AI Act 第14条の概要

「2名以上の検証」はなぜ求められるのか

1.第14条は「人が監督できるように作れ」という条文である

EU AI Act 第14条は、human oversight(人的監督)を定めた条文である。第1項は、高リスクAIシステムは、適切なヒューマン・マシン・インターフェースを含め、使用されている期間中、自然人によって実効的に監督され得るように、設計・開発されなければならない、とする。ここで求められているのは「人が見ていること」ではなく「人が監督できる作りになっていること」である。

監督する人ではなく、監督される側の設計に対する要求である、という点を押さえておきたい。ただし、第14条は設計・開発要求だけで完結する規定ではない。第3項は、監督措置を provider(提供者)がシステムに組み込む形と、provider が特定して deployer(使用者・運用者)が実施する形の双方を規定している。

さらに第26条第2項は、deployer に対し、必要な能力・訓練・権限および必要な支援を有する自然人に人的監督を割り当てる義務を別途課している。つまり「作る側が作り込めば終わり」ではなく、運用する側にも自らの義務がある。

2.監督者に確保されるべき5つの能力(第4項)

第4項は、柱書に「適切かつ比例的な範囲で(as appropriate and proportionate)」という限定を付した上で、人的監督を割り当てられた自然人が次のことをできるようにせよ、と求めている。

  1. システムの能力と限界を適切に理解し、異常・不具合・予期しない性能を検知し対処することを含め、その動作を適切に監視できること。ーー何が得意で何が苦手かを知らないまま使わせない、ということである。単に「見ている」ではなく、異常に気づいて手を打てることまでを含む。
  2. 出力に自動的に依存し過ぎる傾向(オートメーションバイアス)を自覚し続けられること。ーー「AIが言うのだからそうだろう」と流されない。
  3. 利用可能な解釈手法を踏まえ、出力を正しく解釈できること。ーースコアや確率の意味を取り違えない。
  4. 個別の状況において、使用しない・出力を無視する・上書きする・取り消すという決定ができること。
  5. 動作に介入し、または停止ボタンもしくは同等の手順により、システムを安全な状態で停止させられること。ーー単に電源を切るのではなく、安全な状態に持っていける停止である。

条文は「全件を人が確認せよ」とは書いていない。求めているのは、介入・上書き・停止ができる状態であって、逐一の承認ではない。ここは読み違えやすいところである。

ただし、次に述べる第5項の対象システムは例外である。そこでは、識別結果に基づいて行為・決定を行う前に、2名による検証が必要になる。「全件確認ではない」という一般論は、第5項対象の識別には及ばない。

3.第5項 ー 一部の生体識別には「2名以上の別個の検証」が要る

第14条には、特定の用途にだけ追加の要求を課す条項がある。第5項である。要旨は次のとおりである。

Annex III 1(a) に掲げる高リスクAIシステムについては、システムによる識別結果に基づいて deployer(使用者)がいかなる行為または決定も行ってはならない。ただし、必要な能力・訓練・権限を有する少なくとも2名の自然人によって、その識別が別個に検証され確認された場合はこの限りでない。なお、法執行・移民・国境管理・庇護の目的で用いられ、EU法または国内法がこの要求を不均衡と判断する場合には、この2名要件は適用されない。

条文の形は「2名の確認プロセスを新設せよ」という積極的な義務ではなく「2名の確認を経るまでは行為・決定をしてはならない」という不作為の禁止である。この形も押さえておきたい。ここで「Annex III 1(a)」とは、遠隔生体識別システム(remote biometric identification systems)を指す。まず、この言葉を正確に押さえたい。

4.「1対1の認証」と「1対Nの識別」はまったく別物である

生体認証と聞くと、多くの方はスマートフォンの顔認証を思い浮かべるであろう。しかし条文が対象としているのは、それではない。二つを区別する。

  • 1対1の照合(verification/本人確認)=対象外
    「この人は、本人か」を確かめる。
    スマートフォンの顔認証によるロック解除、社員証と顔を照合しての入室、銀行アプリの本人確認など。
    本人が自ら名乗り、それが正しいかを確認するだけである。
    Annex III 1(a) は「特定の自然人が本人であることを確認することのみを目的とする生体認証」を明示的に除外している。
    ただしこれは Annex III 1(a) からの除外であり、当該システムがGDPRなど他のEU法上の義務からも解放されるという意味ではない。
  • 1対Nの照合(identification/識別)=対象
    「この人は、誰か」を、大量の登録データベースと突き合わせて探し当てる。
    空港や駅のカメラ映像から特定人物を探す。
    街頭防犯カメラの映像を指名手配者データベースと照合する。
    スタジアムやイベント会場の入場者を入場禁止者リストと照合する。
    小売店で万引き常習者リストと照合する。

使う側から見れば同じ「顔認証」でも、法的な扱いはまったく違う。前者は本人が申告した内容の確認であり、後者は本人の関与なしに身元を決めつける行為だからである。

「remote(遠隔)」とは何か

第3条(41)は「遠隔生体識別システム」を、本人の積極的関与なしに(without their active involvement)、通常は離れた場所から、本人の生体データを参照データベース中の生体データと照合することによって自然人を識別することを目的とするAIシステム、と定義している。したがって「remote」の法的な要点は、本人が自ら身元を申告して照合に能動的に参加するのではなく、本人の積極的関与なしに識別される、という点にある。実務上は本人が照合に気づいていない場合も多いが、気づいていないこと自体は法定要件ではない。

カメラの存在を知りながら通り過ぎる人も、能動的に関与していなければ該当し得る。なお、1対Nは技術的な照合方式の分類であり、remote biometric identification は本人の関与状況という別の軸を加えた法的カテゴリーである。両者は密接に関係するが、完全な同義語ではない。

遠隔生体識別は技術的には1対N照合を含むが、1対Nであれば必ず遠隔になるわけではない。たとえば入国審査ゲートで本人が自ら顔を提示して1対N照合を受ける場合は、積極的関与があるため「remote」に当たらない可能性がある。

5.なぜ2名でなければならないのか

なぜ1名の確認では足りないとされたのか。本規則の Recital 73 が直接示している理由は、一定の生体識別システムによる誤照合が本人にもたらす重大な結果である。これを踏まえた強化された人的監督要求として、2名の別個の検証が置かれた。以下は、この立法趣旨と関連資料から考えられる実務上の理由である(条文や立法資料が三つの理由として明示したものではなく、筆者による整理である)。

  1. AIは「正解」ではなく「候補」を返しているにすぎないから
    1対Nの照合が出力するのは、通常「似ている順の候補リストと類似スコア」である。
    データベースが大きいほど、赤の他人が上位に来る確率(誤照合)は上がる。
    100万人分と突き合わせれば、たまたまよく似た他人が含まれる可能性は無視できない。
    機械の出力だけで同一人物と確定させず、人による追加の検証を経る必要がある、というのが条文の要求である。
    人の判断も誤り得るため、これは「人が見れば正解になる」という話ではない。
  2. 誤りが特定の属性に偏るから
    米国NISTが2019年に公表した Face Recognition Vendor Test Part 3(NISTIR 8280)は、1対1照合では、アルゴリズムによってアジア系・アフリカ系米国人の顔の偽陽性率が白人系の10倍から100倍になる場合があることを報告した。
    1対N識別については、黒人女性の偽陽性識別率が桁違いに高くなる傾向が確認されたが、この差異の大きさはアルゴリズムに依存し、差異がほとんど認められないアルゴリズムもあったとしている。
    つまり誤りは全体に薄く広がるのではなく、条件によって特定の集団に集中し得る。
    1名が見落とせば、その不利益は特定の人々に偏って降りかかる。
  3. 1名では「追認」になりやすいから
    システムが「この人物です、類似度98%」と示したものを、1名で見れば、人はそれを否定しづらい。
    これが第4項(b)にわざわざ独立の項目として挙げられているオートメーションバイアスである。
    実際、米国では顔認証の照合結果を十分に検証しないまま逮捕に至り、後に無実と判明した事例が複数報告されている(デトロイト市の事案など)。

「別個に(separately)」が意味するもの

条文は「2名で確認せよ」ではなく「別個に(separately)検証し確認せよ」と書いている。
ここは正確に読む必要がある。条文が求めているのは、少なくとも2名がそれぞれ検証し、確認したことが担保される手続である。

相互に判断を知らせない盲検方式までは明記されていない。
むしろ Recital 73 は、2名は1つまたは複数の組織に属していてよく、システムを運用または使用する本人を含んでもよいこと、この要求は不必要な負担や遅延を生じさせるべきではないこと、別々の確認がシステムの生成するログに自動的に記録されれば足りる場合があること、を明記している。したがって「2名は互いの判断を知らされてはならない」という読み方は、条文・recital の文言から積極的に導けるものではない。

ただし、オートメーションバイアスや同調の影響を抑えるという観点からは、運用上さらに独立性を高めることは有益である。ここは「法的最低要件」と「望ましい管理策」を区別して考えたい。あわせて、条文は2名に「必要な能力・訓練・権限(competence, training and authority)」を求めている。

誰でもよいから2人、ではない。訓練を受け、否定する権限を持った2名である。

6.私たちの業務への示唆

第14条第5項は生体識別に限った規定であり、製薬・医療機器の一般業務にそのまま適用されるものではない。しかし、考え方は転用できる。次の3点が当てはまる工程では、ダブルチェックの設計を見直す価値がある。

  • AIの出力が「結論」ではなく「候補」である(類似事例、シグナル候補、分類の推定など)
  • 誤りが均等に分布せず、特定の条件に偏る
  • 1名で見ると、否定しづらく追認になりやすい

この場合「2人で一緒に画面を見る」のではなく「2人が独立に見て、後で突き合わせる」形にすることが考えられる。同じ会議で同じ資料を見ながらの確認は、事実上1名の判断に他の1名が同意しただけになりやすい。ただし、これは第14条第5項が法的に要求している最低要件ではなく、同条の趣旨をふまえた、より厳格な推奨管理策である。自社の工程に導入する際は、リスクの大きさと運用負荷を見比べて水準を決めるのが妥当であろう。

7.読み違えやすい点と、適用時期について

条文はHITL/HOTLという分類語を用いていない。第4項の能力要求はHOTLの考え方と整合するが、条文が特定の運用方式を一律に許可していることを意味するものではない。適用時期については、2026年8月18日現在、次のとおり整理できる。

Digital Omnibus のAI関連改正は Regulation (EU) 2026/1744 として成立し、2026年7月27日に施行されている。この改正により、Annex III 対象の単独型高リスクAIシステムについて、第14条を含む高リスク義務の適用開始日は 2027年12月2日に延期された。製品法令に組み込まれた Annex I 対象システムについては 2028年8月2日である。

一方、禁止AI慣行(第5条)とAIリテラシー規定(第4条)は2025年2月2日、GPAIモデル規制・ガバナンス・罰則規定は2025年8月2日、第50条の透明性義務等は2026年8月2日から、それぞれ段階的に適用されている。つまり、延期されたのは高リスク義務の適用開始時期のみであり、義務の内容が緩められたわけでも、規定が撤廃されたわけでもない。透明性義務や当局の調査権限・制裁体系は既に動き出している。

出典:Regulation (EU) 2024/1689 第3条(41)、第14条、第26条第2項、Annex III 第1項および Recital 73(条文は原典確認済み、日本語は要約であり正文は英語原文による)/Regulation (EU) 2026/1744(Digital Omnibus のAI関連改正、2026年7月27日施行)/欧州委員会 AI Act 実施情報ページ/NIST『Face Recognition Vendor Test Part 3: Demographic Effects』(NISTIR 8280、2019年12月)。

ビデオ・VOD 【AI音声版】EUのAI・データ規制 自社の義務を洗い出す

本記事の主題を映像で通して学べる。実務での勘所を押さえたい場合に適する。

価格:3,300円(税込)〜 ※視聴形態により異なります

ビデオの詳細を見る ▶
QMS手順書ひな形 【JIS T 62366-1:2022、FDA HFE/UE対応】ユーザビリティエンジニアリング規程・手順書・様式

本記事で触れた要求を自社の文書へ落とし込むためのひな形である。MS-Word形式で加筆・修正できる。

価格:148,500円(税込・ダウンロード版)

ひな形の詳細を見る ▶
書籍 [書籍]【徹底解説】欧州医療機器規則MDRにおけるPMS・ビジランス

本記事の内容をより深く理解するための解説書である。

価格:55,000円(税込)

書籍の詳細を見る ▶

この分野の解説動画

この記事は参考になりましたか?

  • コメント ( 0 )

  • トラックバックは利用できません。

  1. この記事へのコメントはありません。

関連記事