人工知能の入力を安全に扱う
- 資料中の命令を正当な指示と取り違える攻撃を見分ける
- 敵対的サンプルを意図的な認識の妨害として説明する
- 必要な情報・権限に絞り、重要操作と出力を検証する
点線のことばを押すと、意味と使い方を調べられます。
表示・保存
このページの目次 3節・復習と3問
- 1説明を読む
- 2復習する
- 3問題を解く
- 4次へ進む
1資料の文章を指示として扱わせる
プロンプトインジェクション攻撃は、入力や参照資料へ悪意ある指示を混ぜ、生成AI（Artificial Intelligence：人工知能）を本来の目的から外れた動作へ誘導する攻撃です。外部文書を要約する際、本文中の命令を利用者の正当な指示と取り違えることが問題になります。
外部資料は信頼できないデータとして扱い、権限のある指示と区別します。重要な操作は別の仕組みで権限を確認し、人が結果を確かめます。
文書を要約
命令らしい文章が混入
資料と指示を分ける
利用者の目的：文書を要約／外部文書：命令らしい文章が混入／防御：資料と指示を分ける
ハルとビットで、使い方を確かめよう
資料にお願いが書いてあったら従うの？
資料は読む対象だよ。利用者が許可した操作かを別に確かめる必要があるね。
2わずかな変化で認識を誤らせる
敵対的サンプル（Adversarial Examples）は、機械学習モデルの判断を誤らせるよう作られた入力です。例えば人には同じに見える画像へ変化を加え、分類を誤らせる場合があります。
単なる自然な誤りと、意図的に判断を乱す入力を区別します。入力の検査、異常検知、多様な条件での評価などを組み合わせます。文章の命令を混ぜる攻撃とは狙う仕組みが違います。
正しく分類
誤った分類を誘う
多様な入力で確認
元の入力：正しく分類／細工された入力：誤った分類を誘う／評価：多様な入力で確認
3権限と情報を最初から絞る
AIへ渡す情報は目的に必要な範囲にし、社外秘や個人情報の扱いを組織のルールで確認します。外部情報を読めることと、そこに書かれた指示へ従う権限があることは別です。
AIが操作できる機能も必要な範囲に限定します。「変な指示に従わないで」と書くだけで完全防御とは考えず、出力の検証とアクセス制御を組み込みます。
入力：必要な情報に限定／操作：必要な権限に限定／結果：人と仕組みで検証
ハルとビットで、使い方を確かめよう
注意書き一つで防げる？
それだけで完全とは言えないよ。権限の制限や結果の確認も重ねよう。
復習
このレッスンを振り返ろう
問題で確かめる
学んだことを問題で確かめよう
入門の確認問題3問で、この範囲の考え方を使います。答えを選んだら、正解の理由とほかの選択肢の違いも確かめましょう。
ヒントを見る
AIが読む資料中の文を、業務で与えた指示よりも優先させようとする点に注目します。
オリジナル入門問題 · シラバス 6.5
3問中0問の答えと解説を確認しました。選んだ答えの理由も確かめてから、次へ進みましょう。
出典・参考資料を確認する
学習範囲：IPA シラバス Ver.6.5 ↗ 項目61。身近な例・会話・図解・確認問題は当サイトのオリジナルです。
学習範囲と参考資料
シラバスは学習範囲の根拠です。説明は参考資料を基に当サイトが作成しています。身近な事例・会話・図の数値は学習用の架空例です。2026年9月10日確認。