GPTとは

GPTとは、Generative Pre-trained Transformerの略である。訳語の一例としては「生成的な事前学習済みトランスフォーマー」と表現される。大量のテキストであらかじめ学習し、与えられた文脈に続くトークンを予測する形で動作する大規模言語モデル（LLM）の代表的な系列であり、文章生成のほか、質問応答、要約、言い換え、分類など幅広い自然言語処理タスクに用いられる。

名前の意味

GPTという名前は、三つの語に分けて理解すると分かりやすい。

• Generative：テキストを生成する形式で出力を行う
• Pre-trained：大量のテキストであらかじめ学習されている
• Transformer：トランスフォーマーアーキテクチャを土台としている

このうち、特に重要なのが最後のT、すなわちTransformerである。GPTは独立して生まれた別技術ではなく、先に登場したトランスフォーマーを土台として発展したモデルである。なお、GPTは「文章生成専用のAI」ではない。

初代GPTの論文では、事前学習した言語モデルを、質問応答や文書分類といった幅広い言語理解タスクへ転移させることが狙いとして示されている。文章生成はその代表的な用途の一つと位置付けるのが正確である。

先の記事との関係

先の記事で説明したとおり、トランスフォーマーは2017年に提案された深層学習アーキテクチャであり、自己注意機構によって文中の離れた要素同士の関係を効率よく扱えることが特徴である。また、従来のRNN系モデルより並列計算に向いており、大規模学習との相性が良いという利点があった。GPTは、このトランスフォーマーの考え方を受け継ぎつつ、文脈に続くトークンを逐次予測する形式、すなわち自己回帰型言語モデリングに構成し直したモデルである。

したがって、GPTを理解するうえでは、トランスフォーマーの自己注意、位置情報、層の積み重ね、系列生成という基礎を押さえることが前提になる。平たくいえば、トランスフォーマーが土台となる設計様式であり、GPTはその様式を採用して作られた具体的なモデル群である。建築にたとえれば、トランスフォーマーが構造様式であり、GPTはその様式を採用した建物の系列である。

GPTはトランスフォーマーのどこを使っているのか

原論文のトランスフォーマーは、エンコーダとデコーダの両方を備えた構造であった。GPTは、このうちデコーダ側の考え方を基礎とする、いわゆるデコーダ専用型のモデルである。ただし、原論文のデコーダと同一の構造ではない点に注意が必要である。

原論文のデコーダは、エンコーダの出力を参照するエンコーダ・デコーダ間アテンション（クロスアテンション）を備えるが、GPT型モデルはエンコーダを持たないため、この層を持たない。用いられるのは、マスク付き自己注意とフィードフォワード層を中心とした構成である。ここで重要なのが、マスク付き自己注意である。

これは、次のトークンを予測するときに、まだ出力していない未来のトークンを見ないように制御する仕組みである。この仕組みがあるため、GPTは「すでに与えられた文脈だけを使って次を続ける」ことができ、自然な文章生成に向くのである。なお、位置情報の与え方は世代によって異なる。

初代GPTは学習型の位置埋め込みを用いたが、後続のモデルがすべて同じ方式を採用しているとは一般化できない。特にGPT-4については、アーキテクチャや学習方法の詳細が公開されていない。

なぜGPTが注目されたのか

GPTが大きな注目を集めた理由は、単に文章を生成できたからではない。大量の文章を事前学習させたうえで、比較的少ない追加調整で多様な自然言語処理タスクへ応用できることが示されたためである。Hugging Faceの説明では、GPTは大規模コーパス上で言語モデリングを行い、その後にラベル付きデータで微調整することで、質問応答、意味類似、文書分類などにも適用できるとされている。

これは、それまでタスクごとに専用モデルを設計する考え方から、まず汎用的な言語能力を学習し、それを転移利用する考え方への大きな転換であった。この発想は、その後のLLMの基本路線となった。すなわち、まず膨大なテキストを読み込んで広い言語能力を身に付け、そのうえで指示追従、対話、要約、コード生成などへ展開するという流れである。

GPTはどのように動くのか

GPTの基本動作は、与えられた文脈の続きを一トークンずつ予測することである。たとえば「品質保証とは」という入力があれば、その後に続きやすい説明文を順番に生成していく。ここでいうトークンは、単語と一対一で対応するわけではない。

単語より短い断片や、複数の文字のまとまりが一つのトークンになることもある。モデルが処理し出力する単位はあくまでトークンであり「語」と厳密に一致しない点は押さえておきたい。このときGPTは、入力文をトークンに分割し、それぞれをベクトル化し、位置情報を加えたうえで、複数のデコーダ層に通す。

各層では、マスク付きマルチヘッド自己注意、フィードフォワードネットワーク、正規化、残差接続などが使われ、文脈を反映した内部表現が更新されていく。最後に、次に出現しそうなトークンの確率分布を計算し、その中から一つを選んで出力する。この処理を繰り返すことで、GPTは短い応答から長い説明文まで生成できる。

GPTとLLMの関係

GPTとLLMは別系統の概念ではない。GPTはLLMの一種である。LLMは大規模言語モデル全体を指す広い概念であり、GPTはその中でも、トランスフォーマーのデコーダ側の構成を中心に発展してきた代表的な系列にあたる。

したがって、関係を整理すると、トランスフォーマーが基盤となるアーキテクチャ、LLMがそれを用いた大規模言語モデルというカテゴリ、GPTがそのカテゴリに属する代表的な具体例、という位置付けになる。先の記事とのつながりでいえば、トランスフォーマーの応用例の中でも、GPTは特に大きな影響を与えた系統の一つである。

何に使われているのか

GPT系モデルは、文章生成、対話、要約、翻訳支援、検索補助、分類、コード生成など、幅広い用途に使われている。質問に対して自然な説明文を返す対話型AIの中核技術としても用いられている。また、単なる会話にとどまらず、文書の下書き、メール作成、規制文書の要点整理、FAQ草案、教育資料の作成、ソフトウェア開発支援などにも応用されている。これは、GPTが個々の定型作業専用ではなく、汎用的な言語処理エンジンとして働くためである。

限界と注意点

GPTは高い性能を示すが、常に正しいわけではない。もっともらしいが誤った内容を生成することがあり、事実確認や根拠提示が必要な場面では、そのまま信頼してはならない。また、GPTは文脈に対して次に現れやすい表現を高度に予測することによって、外形的には意味を理解しているように見える応答を生成する。

ただし、それが人間と同等の意味理解を伴うものかどうかについては学術的な議論があり、いずれとも断定することはできない。実務上は、出力の自然さと内容の正確性を切り分けて扱う姿勢が必要である。そのため、専門性や正確性が厳しく求められる業務では、原典確認、人によるレビュー、利用条件の明確化が不可欠である。

おわりに

GPTとは、トランスフォーマーを基盤として発展した大規模言語モデルの代表的な系列である。特にTはTransformerを意味しており、GPTを理解するには、先の記事で扱ったトランスフォーマーの基礎理解が重要である。初心者向けに一言でいえば、GPTとは「トランスフォーマーの考え方を用いて次のトークンを予測し続けることで文章を作るAI」である。この視点で見ると、GPTは突然現れた魔法の技術ではなく、トランスフォーマーという土台の上に築かれた発展形であることが分かる。

参考文献

• Radford et al., Improving Language Understanding by Generative Pre-Training（GPT-1論文）　https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf
• Vaswani et al., Attention Is All You Need（Transformer原論文）　https://papers.nips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf
• OpenAI, GPT-4 Technical Report　https://cdn.openai.com/papers/gpt-4.pdf
• NIST AI 600-1, Artificial Intelligence Risk Management Framework: Generative AI Profile　https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf
• LLMの意味理解に関する議論（査読論文）　https://pmc.ncbi.nlm.nih.gov/articles/PMC10068812/

この分野の解説動画