大規模言語モデル(LLM)

IT-Notebooks.com
記事内に商品プロモーションを含む場合があります

インターネット上の膨大な文章を読み込んで言葉のルールを丸暗記し、人間のように自然な文章を生成したり、質問に答えたりできる「超巨大なAIの頭脳」です。ChatGPTなどの基盤となっています。

用語:大規模言語モデル(LLM)
読み方:だいきぼげんごモデル(エルエルエム)
英語表記・正式名称:Large Language Model
分類:AI
関連用語:人工知能(AI), 自然言語処理(NLP), ディープラーニング(深層学習), 生成AI, トークン, プロンプト, トランスフォーマー, ハルシネーション

🏷️:#AI基礎 #LLM #大規模言語モデル #生成AI #自然言語処理 #ChatGPT #ディープラーニング #IT初心者向け

概要

数十億から数兆個という膨大なパラメータ(計算の重み付け)を持ち、ディープラーニング技術を用いて世界中のテキストデータを事前学習した自然言語処理モデルです。確率に基づいて「文脈として次に続く最も自然な単語」を予測し続ける仕組みを持ち、文章生成、要約、翻訳、コード記述など、人間が言葉を使うあらゆるタスクを高精度に実行します。

詳細解説

 大規模言語モデル(LLM:Large Language Model)は、その名の通り「大規模」なデータとパラメータ(計算の規模)を用いて構築された、人工知能(AI)における自然言語処理のモデルです。ChatGPTやClaudeといった、現在世界中で利用されている最新の対話型AIの心臓部として機能しています。

 LLMが文章を生成する基本的な仕組みは、スマートフォンのキーボード入力にある「予測変換」の超高性能版と言えます。LLMはインターネット上にある数兆文字という膨大なテキストデータを読み込み、「この単語の後には、この単語が続く確率が高い」という言葉のルールを統計的に学習しています。ユーザーから質問(プロンプト)を入力されると、その文脈に最もふさわしい単語(厳密にはトークン)を次々と確率で計算し、繋ぎ合わせていくことで、あたかも人間が考えて書いているかのような自然な文章をリアルタイムに紡ぎ出します。

 この技術のブレイクスルーをもたらしたのが、2017年に発表された「Transformer(トランスフォーマー)」というディープラーニングのアーキテクチャです。文章の中の離れた場所にある単語同士の関係性を「アテンション(注意機構)」によって同時に計算できるようになったことで、長い文章でも文脈を見失わずに処理できるようになり、AIの学習効率と精度が劇的に向上しました。

 現在のLLMは、ただ文章の続きを予測する「事前学習」を行った後、人間に役立つように指示に従う訓練(ファインチューニングやRLHF:人間からのフィードバックを用いた強化学習)を施すことで、翻訳、要約、企画立案、プログラミングコードの生成など、高度な知的作業をこなせる有能なアシスタントに進化しています。

 一方で、LLMには構造上の課題もあります。AIは言葉の意味を人間のように完全に理解しているわけではなく、あくまで「確率的にそれらしい言葉」を繋ぎ合わせているだけであるため、事実とは異なるもっともらしいウソを出力する「ハルシネーション(幻覚)」という現象が避けられません。また、開発や運用に莫大な計算資源(GPU)と電力を消費することも課題となっています。それでも、LLMは私たちの働き方や情報検索のあり方を根本から変革する、現代ITにおける最も強力な基盤技術です。

関連用語

人工知能(AI)
自然言語処理(NLP)
ディープラーニング(深層学習)
生成AI
トークン
プロンプト
トランスフォーマー
ハルシネーション
記事URLをコピーしました