GPTシリーズを学ぶ
GPTシリーズを学ぶ
GPTの仕組み
GPTが自然な文章を作成できるのは、入力されたテキストから、返答として最も自然である確率が高い結果を推測して返信することが可能だからです。
ただし、GPTは入力したテキストの意味を理解しているわけではありません。学習した膨大な量のテキストデータをもとに、文章の構成として使われやすい文字や単語の並びを推測して返答します。
テキストで質問した際の大まかな流れ
| STEP 01 |
文章が入力される 例）「日本で最も人口の多い都市はどこですか？」 |
| STEP 02 |
入力された文章をトークン（単語）に分割する 例）「日本」「で」「最も」「人口」「の」「多い」「都市」「は」「どこ」「ですか」「？」 |
| STEP 03 |
トークンをそれぞれの数字に変換して、GPTモデルに入力する 例）"1234" , "56 ", "789 ", "4567 ", "89 ", "2345 ", "6789 ", "1011", "1213 ", "1415 ", "16" |
| STEP 04 |
学習データから得た文脈に照らし合わせ、トークンの順序や関連性を把握する 例）「日本で最も人口の多い都市は」という文脈を把握 |
| STEP 05 |
返答として最も自然である確率が高い最適な返答を生成する 例）「東京」や「横浜」といった都市名を答えるのが適切と判断 |
| STEP 06 |
生成した返答の数字を文章に変換する 例）「東京」と回答 |
関連資料
