GPT (言語モデル)とは - わかりやすく解説 Weblio辞書 (original) (raw)

オリジナルのGPTモデル

GPT（英: Generative Pre-trained Transformer、日: 生成的事前学習変換器[1]）とは、OpenAIによる言語モデルのファミリーのことである。通常、大規模なテキストデータのコーパスで訓練され、人間的な文章を生成する。

Transformerアーキテクチャのデコーダー部分のみを使用し、Universal Language Model Fine-tuning(ULMFiT)と同じ言語モデルアプローチを採用している[2]。テキスト生成、翻訳、文書分類など諸々の自然言語処理に合わせてファインチューニングできる。名称に含まれる"pre-trained"（事前訓練）とは、大量のテキストコーパスによる最初の訓練プロセスを指し、モデルは、各節に続く単語を予測するよう学習する。これによりもたらされる強固な基盤によって、各処理固有の下流処理が限定的なデータ量であってもモデルが適切に動作する。

GPT-1

2018年6月11日、OpenAIは"Improving Language Understanding by Generative Pre-Training"というタイトルの論文をリリースし、その中でGPT（_Generative Pre-trained Transformer_）を導入した[3]。

この時点では最高のパフォーマンスを行うニューラル自然言語処理モデルは、主に手動でラベル付けされた大量のデータからの教師あり学習を採用していた。この教師あり学習への依存は、十分に注釈が付けられていないデータセットの使用を制限するだけでなく、非常に大規模なモデルの訓練に莫大な費用と時間がかかっていた[3][4]。多くの言語（スワヒリ語やハイチ・クレオール語など）は、コーパス構築に使用できるテキストが不足しているため、このようなモデルを使用して翻訳や解釈をすることが難しい[4]。これに対して、GPTの「半教師あり」アプローチには2つの段階が含まれていた。2つの段階は、言語モデリングの目的を使用して初期パラメータを設定する教師なし生成「事前訓練」段階と、これらのパラメータがターゲットとするタスクに適合された教師あり識別「ファインチューニング」段階である[3]。

訓練には NVIDIA Quadro P600 を8枚30日使用し、実行効率33%のため、0.96ペタFLOPS・日となった。[5]

GPT-4

2023年3月14日、OpenAI のGPT 基盤モデルである GPT-4 がリリースされた[6]。ユーザーは ChatGPT のプレミアムバージョンを通じて直接アクセスでき、開発者は OpenAI の API を利用して他の製品やサービスに組み込むことができる。

GPT-5

2025年8月7日、OpenAIのGPTモデルであるGPT-5がChatGPT経由で無料ユーザーを含むすべてのユーザーに公開され、API経由でも利用が可能になった。以前のモデルより健康的な質問への返答の正確性向上、早いレスポンス、より少ないハルシネーション、創造的な文章制作能力などが向上した。

シリーズ一覧

名称 用途 アーキテクチャ パラメータ数 訓練データ リリース日
GPT-1 汎用 12-level, 12-headedのTransformerデコーダ（エンコーダなし）、linear-softmaxによりフォローされる。 1億1700万 BookCorpus：[7] 様々なジャンルの7000冊の未発表書籍からの4.5GBのテキスト 000000002018-06-11-00002018年6月11日[5]
GPT-2 汎用 GPT-1 + 正規化/初期化 15億 WebText（40GB） 000000002019-02-14-00002019年2月14日
GPT-3 汎用 GPT-2 + スパースアテンション 1750億[8] 570GBのプレーンテキスト、4000億のトークン。主にCommonCrawl, WebText, English Wikipedia, および2つの書籍コーパス（Books1およびBooks2）. 000000002020-06-11-00002020年6月11日[9]
Codex プログラミング GPT-3をプログラミング用途に調整 000000002021-08-10-00002021年8月10日[10]
InstructGPT 会話 GPT-3を人間のフィードバックによる指示に従うよう微調整[11] 2022年3月4日
GPT-3.5 汎用 非公開 非公開 非公開 000000002022-03-15-00002022年3月15日
ProtGPT2 タンパク質配列[12] GPT-2 large（36層）と同様 7億3800万 UniRef50からのタンパク質配列（計4488万、検証のために10%を使用した後） 000000002022-07-27-00002022年7月27日
BioGPT 生物医学のコンテンツ[13][14] GPT-2 medium（24層、16 heads）と同様 3億4700万 PubMedの空でない項目（計150万） 000000002022-09-24-00002022年9月24日
ChatGPT 会話 GPT-3.5を使用し、教師あり学習とRLHF[15]の両方でファインチューニングされている（転移学習のアプローチ）[16] 非公開 非公開 000000002022-11-30-00002022年11月30日
GPT-4 汎用、マルチモーダル[17] テキスト予測とRLHFの両方で訓練されている。詳細非公開[18] 非公開 非公開 000000002023-03-14-00002023年3月14日

出典

  1. ^ GPT（ジーピーティー）とは？意味・用語説明
  2. ^ Lewis Tunstall、Leandro von Werra、Thomas Wolf 著、中山光樹 訳『機械学習エンジニアのためのTransformers ―最先端の自然言語処理ライブラリによるモデル開発』オライリー・ジャパン、東京都新宿区四谷坂町、2022年8月3日、9頁。ISBN 978-4-87311-995-3。
  3. ^ a b c “Improving Language Understanding by Generative Pre-Training”. OpenAI. pp. 12 (2018年6月11日). 2021年1月26日時点のオリジナルよりアーカイブ。2021年1月23日閲覧。
  4. ^ a b Tsvetkov, Yulia (2017年6月22日). “Opportunities and Challenges in Working with Low-Resource Languages”. Carnegie Mellon University. 2020年3月31日時点のオリジナルよりアーカイブ。2021年1月23日閲覧。
  5. ^ a b “Improving language understanding with unsupervised learning” (英語). openai.com. 2023年3月18日閲覧。
  6. ^ Hern, Alex; Bhuiyan, Johana (2023年3月14日). “OpenAI says new model GPT-4 is more creative and less likely to invent facts” (英語). The Guardian. ISSN 0261-3077. https://www.theguardian.com/technology/2023/mar/14/chat-gpt-4-new-model 2025年2月11日閲覧。
  7. ^ Zhu, Yukun; Kiros, Ryan; Zemel, Rich; Salakhutdinov, Ruslan; Urtasun, Raquel; Torralba, Antonio; Fidler, Sanja (2015). Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books. pp. 19–27. arXiv:1506.06724. https://www.cv-foundation.org/openaccess/content_iccv_2015/html/Zhu_Aligning_Books_and_ICCV_2015_paper.html.
  8. ^ Ouyang, Long; Wu, Jeff; Jiang, Xu et al. (4 March 2022). “Training language models to follow instructions with human feedback”. arXiv:2203.02155 [cs]. https://arxiv.org/abs/2203.02155 2023年3月23日閲覧。.
  9. ^ “Improving language understanding with unsupervised learning” (英語). openai.com. 2023年3月18日閲覧。
  10. ^ “OpenAI Codex”. 2023年5月5日閲覧。
  11. ^ “Aligning language models to follow instructions”. openai.com. 2023年3月23日閲覧。
  12. ^ Ferruz, N., Schmidt, S. & Höcker, B. (27 July 2022). “ProtGPT2 is a deep unsupervised language model for protein design.”. Nature Communications Volume 13 (1): 4348. Bibcode: 2022NatCo..13.4348F. doi:10.1038/s41467-022-32007-7. PMC 9329459. PMID 35896542. https://pmc.ncbi.nlm.nih.gov/articles/PMC9329459/.
  13. ^ Luo R, Sun L, Xia Y, Qin T, Zhang S, Poon H (24 September 2022). “BioGPT: generative pre-trained transformer for biomedical text generation and mining.”. Brief Bioinform 23 (6). doi:10.1093/bib/bbac409. PMID 36156661. https://www.ncbi.nlm.nih.gov/entrez/eutils/elink.fcgi?dbfrom=pubmed&tool=sumsearch.org/cite&retmode=ref&cmd=prlinks&id=36156661.
  14. ^ Matthias Bastian (2023年1月29日). “BioGPT is a Microsoft language model trained for biomedical tasks”. The Decoder. 2023年3月18日閲覧。
  15. ^ “Introducing ChatGPT” (英語). openai.com. 2023年3月16日閲覧。
  16. ^ Quinn, Joanne (2020). Dive into deep learning: tools for engagement. Thousand Oaks, California. p. 551. ISBN 9781544361376. オリジナルのJanuary 10, 2023時点におけるアーカイブ。. https://web.archive.org/web/20230110131250/https://d2l.ai/chapter_computer-vision/fine-tuning.html#steps 2023年1月10日閲覧。
  17. ^ テキストと画像の両方を入力として受け付ける。
  18. ^ OpenAI (2023年). “GPT-4 Technical Report”. 2023年3月18日閲覧。
表 話 編 歴 OpenAI
製品 ChatGPT 教育分野におけるChatGPT（英語版） DALL-E GitHub Copilot OpenAI Five Sora Whisper SearchGPT
制作モデル OpenAI Codex GPT 1 2 3 4 4o 論理的思考モデル o1 o3
人物 CEO サム・アルトマン CEO解任騒動 ミラ・ムラティ エメット・シア 重役 現在 ブレット・テイラー ローレンス・サマーズ アダム・ディアンジェロ 以前 グレッグ・ブロックマン (2017–2023) リード・ギャレット・ホフマン (2019–2023) Will Hurd (2021–2023) Holden Karnofsky (2017–2021) イーロン・マスク (2015–2018) イリヤ・サツケバー (2017–2023) ヘレン・トナー (2021–2023) Shivon Zilis (2019–2023)
関連項目 AI Dungeon Auto-GPT "Deep Learning" LangChain Microsoft Copilot Microsoft Bing Apple Intelligence
カテゴリ コモンズ