非エンジニアのための�LLMの基本①
LLM（大規模言語モデル）とは
LLMに追加でデータを学習させる方法
LLM（大規模言語モデル）とは
2
LLM（大規模言語モデル）とは
LLM（大規模言語モデル）とは、大量のテキストデータを学習させた深層学習モデル。精度と効率良く”次単語予測”が可能で、要約や翻訳、文章の分析、自然な文の生成ができる
3
大量の�テキストデータ�Wikipedia, ニュース記事, ブログなど
LLM�（大規模言語モデル）
学習
文章を生成
ChatGPTなどの�生成AIアプリ
LLM（大規模言語モデル）の仕組み
4
LLM（大規模言語モデル）の仕組み
LLM（大規模言語モデル）は、大量の文章から”次単語予測”を効率的に行なっている
文脈（コンテクスト）から、もっとも確率が高い次の単語を計算して出力する。�これを繰り返して文章を生成する。
5
吾輩 は 猫 で ある 。 名前 は
LLM（大規模言語モデル）
ミケ�25%
まだ�50%
佐藤�10%
夏目�5.0%
彼�2.0%
…
文脈（コンテクスト）：
LLMに出来ること・出来ないこと
6
◯ 一般常識については回答できる
✖️ 最新情報や専門的な情報については回答できない
LLM（大規模言語モデル）はその仕組み上、学習時のデータセットに含まれていない情報や計算問題については回答できない
7
出来ること | 出来ないこと |
|
|
LLMに追加でデータを学習させる方法
8
LLMに追加でデータを学習させる2つの方法
RAG�読み方: ラグ
fine-tuning�読み方: ファインチューニング
社内データなど、追加でデータを学習させる手法には大きくfine-tuningとRAGと呼ばれる二つの手法がある
9
vs
fine-tuingとは
10
fine-tuningはモデル自体を追加学習させる手法
既存のLLMに追加データを学習させること。LLMのパラメータの一部を変更・追加している
※fine-tuningには、”破壊的忘却”（元々答えられた内容が答えられなくなること）が起こるリスクがあります
11
追加したい情報
大量のデータを学習させる
元のLLM�大量のデータによって�パラメータが決定されている
fine-tuning済LLM�追加したデータについても答えられるようになる
RAGとは
12
RAG（Retrieval-Augmented Generation）は外部データを参照する手法
LLMが知らない知識や最新情報を”参照”して回答する手法。�社内専用データを検索したりインターネット上を検索したりできる
13
LLM�大規模言語モデル
データベース等
ユーザー
② 検索する
③ 検索結果を返す
社内情報を回答させるには�fine-tuning vs RAG どちらが良いか
14
RAG vs fine-tuning → 正確な回答が期待できるRAGが有効
↑
多くの場面で有効
多くの場合、RAGの方が直接データを読んで回答するので内容が正確。�ただし速度が重要な場面などではfine-tuningが採用されることもあります
15
| fine-tuning | RAG |
開発コスト | 低め�対話形式に整形したデータを�アップロードするだけで完了する | 低い〜高い�DB開発や検索アルゴリズムの実装など�精度向上に際限はない |
回答の正確さ | 低め�追加データが少ないと正しく回答できない。�破壊的忘却によってLLM自体の精度が低下する | 高め�生成時に正しい情報を参照するため�複雑な文構造でない限り正しく回答できる |
回答スピード | 速い�LLM単体で完結するため高速 | 遅い�検索処理によって遅くなる�Web検索をする場合はネットワークの遅延も影響する |
利用例 | ・口調や出力形式を調整したいケース�・電話など回答速度が必要なケース | ・大量のデータを参照したいケース�・精度や出典明記が必要なケース |
まとめ
LLMに社内データを回答させるにはRAGが有効
16
次回は RAG について、詳しく解説します�本スライドについてのお問い合わせはこちら: info@izai.co.jp