文章と画像の生成を支える技術を、役割でつかむ

QueryとKeyで参照の配分を求め、Valueを組み合わせる

基本的な自己注意では、各位置の表現からQuery（クエリ）、Key（キー）、Value（バリュー）という三種類のベクトルを計算します。Queryは今の位置からの参照を求める側、Keyは参照候補との対応を比べる側、Valueは実際に組み合わせて受け取る情報です。同じ並びの表現から作りますが、役割が違います。Queryは利用者が書いた質問文そのもの、Keyは辞書の見出し文字、Valueは完成した回答文、という対応ではありません。

Queryと各Keyを数値として比べ、各Valueをどの程度組み合わせるかという係数を求めます。係数を掛けたValueを足し合わせて、今の位置へ渡す情報を作ります。複数の位置の情報を混ぜられるため、最大の係数の語を一つ選んでコピーするだけの処理ではありません。参照の係数は今の入力に応じて計算される値であり、係数が変わっただけで学習済みパラメータを更新したことにもなりません。

根拠：Vaswani et al.: Attention Is All You Need（別タブで開く） ↗

関係を参照しても、語順と生成の順番は残る

Transformerは、自己注意などを組み合わせたニューラルネットワークの構造です。離れた位置どうしの関係を必要とすることを長距離依存と呼びます。自己注意は、RNNの状態を隣へ順に渡す経路だけに頼らず、参照が許された離れた位置を結び付けられます。ただし、それだけで長い文の条件を必ず正しく使えるとはいえません。Transformerでは語順を区別する位置情報も加えます。また、見てよい位置を制限する仕組みをマスクと呼びます。

並列処理は、複数の計算を同時に進めることです。学習用の並びが与えられていれば、Transformerは複数位置の表現をまとめて計算できます。自己回帰型の文章生成では、既にある入力と生成済みの部分から次の単位を決め、それを次の予測へ使うので、まだ決めていない後の単位を答えとして参照しません。学習時も、未来の正解を見て予測しないようマスクを使います。並列化できる部分があることと、一度に完成文全てを決められることを分けましょう。

計算量は、必要となる計算の多さを表す考え方です。実際の待ち時間は、並びの長さ、機器、実装などにも左右されます。『並列だから、どんな長文でも必ず速く正確』とは判断しません。例えば荷物の説明から発送条件を取り出す課題なら、長い別の説明文でも条件を取り違えないかを確かめます。

根拠：Vaswani et al.: Attention Is All You Need（別タブで開く） ↗ / Raffel et al.: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer（別タブで開く） ↗

入力中心・出力中心・両方を使う構成

Transformerの発展には、エンコーダを中心に入力の表現を作る構成、デコーダを中心に続きを生成する構成、エンコーダとデコーダを組み合わせる構成があります。エンコーダを使う歴史例のBERTは、入力の左右の文脈を使った表現を学び、分類などの課題へ調整して利用します。入力の表現を作る部分と、目的に応じた判定を出す部分を区別します。

基本的な自己回帰のデコーダ中心モデルは、与えられた文と生成済みの部分を使い、次の単位を順に生成します。一方、T5は、入力も出力も文章の形で扱うエンコーダ/デコーダ型の歴史例です。翻訳や要約だけでなく、分類先のラベルを文章として出すようにも設計できます。どの構成でも同じ目的しか扱えない、とは決めません。

根拠：Devlin et al.: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding（別タブで開く） ↗ / Raffel et al.: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer（別タブで開く） ↗

構造、学習の目的、使い道は別々に比べる

モデルの構造は、どの部品をどう組んだかという軸です。学習の目的は、何を予測できるようパラメータを調整したかという軸です。使い道は、利用時に何を入力し、どんな結果が欲しいかという軸です。例えば窓口への問い合わせ先を選ぶという同じ使い道でも、分類用の出力を付けたモデルと、部署名を文章として生成するモデルが考えられます。

返ってきた結果が『会計担当』というカテゴリ名だけでも、その画面からエンコーダ型かデコーダ型かを断定できません。構造は仕様を、適切な利用かは評価結果と条件を確かめます。新しいモデルが登場した順番だけで、古い構成の用途が全てなくなったと考える必要もありません。

根拠：Raffel et al.: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer（別タブで開く） ↗ / Devlin et al.: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding（別タブで開く） ↗

逆拡散では、学習済みの仕組みで段階的に更新する

生成するときは、基本例では新しく用意したランダムなノイズから出発し、学習済みモデルを使って段階的に画像の状態を更新します。ノイズを減らして画像を作る方向が逆拡散過程です。学習で使った特定の一枚を、その元の画素どおり必ず復元する処理ではありません。新しい候補を作ることと、保存済みの元画像を読み出すことを分けます。

文章を条件として与える画像生成では、その条件に対応する画像を作るよう処理を導く構成もあります。条件があることは、文字で指定した事実が現実に存在する保証ではありません。生成中の更新を繰り返すことと、そのたびにモデルのパラメータを学習し直すことも別です。

根拠：Ho, Jain, Abbeel: Denoising Diffusion Probabilistic Models（別タブで開く） ↗ / Rombach et al.: High-Resolution Image Synthesis with Latent Diffusion Models（別タブで開く） ↗

潜在拡散は、内部表現の上で拡散を行う

潜在表現は、画像の内容などをモデル内部の数値で表したものでした。潜在拡散モデル（Latent Diffusion Model）は、画像を圧縮して表した潜在空間で拡散モデルを動かす構成です。学習用の画像をエンコーダで内部表現へ写し、その表現にノイズを加え、ノイズを減らす関係を学ぶ方法があります。画素そのものの上で拡散を行う方法と、計算する場所が違います。

新しい画像を作るときは、潜在空間のノイズから内部表現を段階的に作り、最後に学習済みデコーダで画像へ写します。内部表現は元画像の保存場所を指す番号ではなく、画像を一度小さく表示し、表示倍率だけを戻す話でもありません。内部表現を使うことで計算の負担を抑えられますが、全ての細部が完全に戻る保証はありません。どの圧縮モデル、段階数、条件を使うかは構成により異なります。

ここでは、Transformerという構造の話と、ノイズを減らして生成する拡散の話を、同じ分類の二択にしません。文章の条件を扱う部分などへTransformerを組み合わせる潜在拡散の例もあります。『文章入力だから文章専用モデル』『画像出力だから必ずGAN』とは、入力/出力の見た目だけで判断しないことが大切です。

根拠：Rombach et al.: High-Resolution Image Synthesis with Latent Diffusion Models（別タブで開く） ↗

マルチモーダルは、複数の情報形式を扱う

モダリティは、文章、画像、音声などの情報の種類/形式を表す言葉です。複数のモダリティを入力、出力、またはその両方で扱う性質をマルチモーダルと呼び、そのようなモデルをマルチモーダルモデルと呼びます。例えば写真と文章の指示を入力し、文章だけで答えるモデルも当てはまります。出力にも必ず二種類以上が必要、という意味ではありません。

写真がJPEGとPNGという別のファイル形式で二枚あっても、ここでは両方とも画像のモダリティです。また、画像を外部の文字認識で文章に変えてから文章専用モデルへ渡すシステムでは、その文章専用モデル自体が画像を直接扱うとまではいえません。システム全体と、今見ているモデルの入力/出力を分けて確かめます。

根拠：Google Developers: Machine Learning Glossary — modality / multimodal model（別タブで開く） ↗ / Google Cloud: Multimodal AI（別タブで開く） ↗

基盤の広がりと、媒体の種類は別の軸

基盤モデルかどうかは、広い学習とさまざまな用途への土台という軸です。マルチモーダルかどうかは、扱う情報の種類の軸です。二つの言葉は同義ではありません。写真と短文の組が合うかを決める一つの専用課題のモデルなら、複数形式を扱っても、その事実だけで基盤モデルと確定しません。広い用途と複数形式の両方を備える構成もあります。

自分の用途では、必要な入力/出力に対応しているか、求める結果が実際に出るかを、それぞれ確認します。仕様で画像を扱えると分かっても、画像中の小さな文字や事実関係を必ず正しく読めるとは限りません。送ってよい資料か、出力をどう確かめるかという注意は、後の安全・権利の教材でも扱います。

根拠：Bommasani et al.: On the Opportunities and Risks of Foundation Models（別タブで開く） ↗ / Google Developers: Machine Learning Glossary — modality / multimodal model（別タブで開く） ↗ / Google Cloud: Multimodal AI（別タブで開く） ↗