AIを学習させるのと、指示を変えるのは同じか

次の単位を予測し、そのずれから数値を調整する

事前学習は、用途ごとの調整に先立って、広いデータから基礎となる表現や予測の傾向を学ぶ段階です。基本的な自己回帰の言語モデルでは、前にあるトークンから次のトークンを予測する次トークン予測を使います。学習データ中の続きと比べ、予測のずれを小さくする方向へパラメータを調整します。パラメータは、モデル内部で学習により調整される数値です。

例えば『入口で靴を』の後に続く単位には複数の候補があります。モデルは候補ごとの出やすさを数値で表します。この候補ごとの確率のまとまりが確率分布です。もっとも出やすい続きであることと、その施設の本当の利用規則であることは別です。言葉の続きの予測だけから、現実の事実を保証できません。

根拠：Google ML Crash Course: What is a large language model?（別タブで開く） ↗ / Google ML Crash Course: Fine-tuning, distillation, and prompt engineering（別タブで開く） ↗ / Ouyang et al.: Training language models to follow instructions with human feedback（別タブで開く） ↗

指示を変えて出力が変わっても、学習したとは限らない

利用時の推論は、学習済みのモデルを使って、今の入力に対する出力を求めることです。指示文や例を入力に加えれば出力は変わり得ますが、それだけで学習済みパラメータを更新したことにはなりません。ここでは、学習を別に実行せず、パラメータを固定して使う場合を考えます。

架空の文書整理ツールに『見出しは短く』と入力し、続いて好みの見出し例を一つ添えるのは、利用時の手掛かりを変える方法です。その入力を別途学習用データへ取り込んでパラメータを調整したなら、そこで追加の学習が行われたことになります。入力を保存したか、その入力を後の学習に使うか、今回の処理でモデル内部の数値（パラメータ）を更新したかは、それぞれ別に確認します。

この後の比較に使う二つの言葉を、先に押さえます。指示チューニングは、指示と望ましい回答の組などを使い、指示へ応答するようモデルのパラメータを学習で調整する方法です。利用時に指示を書き換えることとは別です。

報酬モデルは、人が回答候補を比較したデータなどから、回答の望ましさを評価値として予測するよう学ぶモデルです。回答文の見本を学んで文章を作る側の学習とは、使う資料と出す結果が異なります。今扱っている、パラメータを固定したまま入力例を利用する条件から、これらの学習が実行されたとはいえません。詳しい進め方は、次の二節で学びます。

根拠：Google ML Crash Course: Fine-tuning, distillation, and prompt engineering（別タブで開く） ↗ / Wei et al.: Finetuned Language Models Are Zero-Shot Learners（別タブで開く） ↗ / Ouyang et al.: Training language models to follow instructions with human feedback（別タブで開く） ↗

指示と回答の組を学習する

指示チューニング（Instruction Tuning）は、要約や言い換えなど、自然言語で書かれた指示と、その指示に沿う回答例を用いた調整です。指示にどう応えるかを学ぶための学習で、利用者が一回の依頼文を詳しく書くことと区別します。

教師ありは望ましい出力の例を使う学び方、指示チューニングは指示に従うためのデータや目的に注目した呼び方です。指示と回答を組にした教師ありの調整であれば、両方の呼び方に当てはまることがあります。互いに重ならない二択へ無理に分けません。

根拠：Wei et al.: Finetuned Language Models Are Zero-Shot Learners（別タブで開く） ↗ / Ouyang et al.: Training language models to follow instructions with human feedback（別タブで開く） ↗

専門分野へ合わせる目的を確かめる

ドメインは、扱う分野や、データが使われる範囲です。ドメイン適応は、対象となる分野のデータや特徴へモデルを合わせる考え方です。例えば、利用できることを確認した専門分野の文書で、既存の言語モデルに追加の事前学習を行う方法があります。必ず全ての文書へ人が正解の回答を書き足す方法だけではありません。

分野へ適応させる目的と、指示への応答を学ぶ目的は、別の軸です。特定分野の指示と回答を使うなど、組み合わせる場合もあります。新しい規則を一件参照したいだけなら、まず最新資料を入力に与える方法等も比較し、毎回の追加学習が必須とは考えません。どの方法でも、利用できるデータと、出力を確かめる基準が必要です。

根拠：Gururangan et al.: Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks（別タブで開く） ↗ / Google ML Crash Course: Fine-tuning, distillation, and prompt engineering（別タブで開く） ↗

評価を予測するモデルと、回答を作るモデル

報酬は、ここでは回答の望ましさを表す点数（評価値）で、モデルの学習に使います。報酬モデルは、人の比較などのデータから、どの回答が望ましいと評価されそうかを予測します。たとえば、回答を作る側は文章の小さな単位（トークン）をつないで「受付は9時からです」という案内文を出します。報酬モデルは依頼とその案内文を受け取り、調整の手掛かりになる点数を返します。

RLHF（Reinforcement Learning from Human Feedback：人間のフィードバックによる強化学習）では、人の評価を手掛かりにモデルを調整します。代表的な流れは、人の比較で報酬モデルを学習し、その評価値を報酬として、回答を作るモデルを強化学習で更新するものです。単に回答の表示順位を変えるだけの処理ではありません。

根拠：Ouyang et al.: Training language models to follow instructions with human feedback（別タブで開く） ↗

評価へ近づくことと、誤りがなくなることを分ける

この教材では、公式範囲に沿って事前学習、ファインチューニング、RLHFという代表的な整理で学びます。ただし、全てのモデルがこの三つを必ず一度ずつ同じ順で行う、という意味ではありません。人の比較やモデルの調整を繰り返す構成もあります。

調整後も、事実に合わない回答や偏りは残り得ます。どの人の評価へ合わせたか、評価していない利用者や課題でも成立するかを別に調べます。高い報酬の回答であっても、現実の開催日や料金は一次資料で確かめる必要があります。

根拠：GUGA 生成AIパスポート試験シラバス（2027年2月試験より適用）（別タブで開く） ↗ / Ouyang et al.: Training language models to follow instructions with human feedback（別タブで開く） ↗

偏りと、事実に合わない生成を点検する

バイアスは偏りのことです。ある地域や言い方の資料だけに偏ると、別の条件でうまく扱えない場合があります。収集対象、正解の付け方、人の評価の基準、学習方法なども確認し、人が評価したから偏りがなくなったとは考えません。

ハルシネーションは、事実や与えた根拠に合わない内容を、もっともらしく生成する現象です。単なる量の追加や一つの調整手法で必ずなくなるとはいえません。例えば資料にない貸出条件を自然な文で補ってしまったら、元の案内と照合し、根拠のある部分と推測を分けます。詳しい生成の仕組みと確認は次の教材でも扱います。

根拠：Ouyang et al.: Training language models to follow instructions with human feedback（別タブで開く） ↗ / Google ML Crash Course: Fine-tuning, distillation, and prompt engineering（別タブで開く） ↗ / Google ML Crash Course: Numerical data — Scrubbing（別タブで開く） ↗

学習できる資料か、利用の条件を確認する

著作権は、文章や画像などの創作的な表現に関わる権利です。公開されていて読めることと、どんな学習・再配布・出力にも自由に使えることを同じにしません。学習の目的や行為、利用する資料、適用される法の条件、契約やライセンスによる許諾の範囲を確認します。ライセンスは、利用を認める条件のことです。

日本の著作権法には、表現を鑑賞するなどの享受を目的としない情報解析について、必要な限度で許諾なく利用できる場合があります。一方、享受目的が併存する場合や、著作権者の利益を不当に害する場合などは、同じ規定を適用できません。『AI学習用だから何でも自由』とも『学習は例外なく毎回許諾が必要』ともまとめず、判断できない資料は採用前に条件を確認します。

根拠：文化庁：AIと著作権に関する考え方について 概要（2024-04）（別タブで開く） ↗ / 文化庁：AIと著作権に関するチェックリスト＆ガイダンス（2024-07-31）（別タブで開く） ↗

小さいモデルでは見えなかった能力が観測される

創発的能力は、規模の小さいモデルでは見られなかった能力が、より大きいモデルで現れるとされる現象を指します。小さいモデルの結果を単純に延ばしただけでは予想しにくい能力として研究されました。意識や意図を持った、という意味の言葉ではありません。

能力が急に現れたように見えるかは、測り方にも左右されます。完全一致だけを正解とする評価と、部分的な進歩も数える評価では、同じ出力でも変化の見え方が違う場合があります。そのため、創発はどんなモデルにも必ず起こるとも、全て測定上の錯覚だとも断定しません。課題と評価基準を確かめます。

根拠：Wei et al.: Emergent Abilities of Large Language Models（別タブで開く） ↗ / Schaeffer et al.: Are Emergent Abilities of Large Language Models a Mirage?（別タブで開く） ↗

改善を比べるには、課題と基準をそろえる

架空の試験で、モデル小とモデル大を同じ未学習の説明文で比べるとします。問題や採点基準が別なら、数値の差が何によるものかを切り分けられません。データと条件をそろえ、平均点だけでなく、苦手な場面や誤りの内容も見ます。

学習方法の整理へ戻ると、広く学ぶ、用途に調整する、人の評価を使うという各段階で、目的と資料と評価を確認します。規模の拡大はその中の一つの工夫です。目的に合うか、根拠に合うか、利用してよいかは別々に確かめます。

根拠：Kaplan et al.: Scaling Laws for Neural Language Models（別タブで開く） ↗ / Schaeffer et al.: Are Emergent Abilities of Large Language Models a Mirage?（別タブで開く） ↗ / Google ML Crash Course: Dividing the original dataset（別タブで開く） ↗ / GUGA 生成AIパスポート試験シラバス（2027年2月試験より適用）（別タブで開く） ↗ / Ouyang et al.: Training language models to follow instructions with human feedback（別タブで開く） ↗ / 文化庁：AIと著作権に関するチェックリスト＆ガイダンス（2024-07-31）（別タブで開く） ↗