生成AIのリスクと、被害を防ぐ確認

事実らしい答えを、事実と確かめる

ハルシネーションは、誤った内容や入力に合わない内容などを、もっともらしく生成する現象です。存在しない根拠を付けたり、条件を落とした説明を作ったりすることもあります。誤情報は事実と違う情報で、攻撃者がいなくても生じます。誤った答えが出たことだけで、誰かが攻撃した、実在する秘密を盗んだ、と原因まで決められません。

ファクトチェックは、事実についての主張を原資料などと照合することです。発行元・対象・時点・条件をそろえ、リンク先が実在するだけでなく、その記載が主張を支えるかを確かめます。不一致や根拠不足の部分は、そのまま案内へ採用しません。確認手順の詳しい組み立ては、後の評価教材で学びます。

入力・保存・共有の行き先を確かめる

情報漏えいは、守るべき情報が、許されていない相手や範囲へ渡ることです。機密情報は、組織などが公開や利用の範囲を制限して扱う情報で、非公開の設計案などが例です。法定の営業秘密に当たる条件や、秘密保持の契約の詳細は別教材で扱います。情報が正確でも、渡してよい相手とは限りません。

入力データは、AIへ渡す文章・画像・添付ファイルなどです。画面に打ち込む文だけでなく、連携先から読み込む内容も含めて考えます。学習で得た傾向を使って応答するAIの中核を、モデルといいます。サービス提供者へ送ること、保存されること、学習に使われること、出力を他人へ共有することは別の経路です。AIへ入力したら常にモデルが再学習する、と一括りにはできません。利用先の規約・契約・設定と組織のルールを入力前に確かめます。

学習に使われない設定でも、入力の送信先や出力の共有範囲が適切とは限りません。必要な情報へ絞り、添付・読み込み範囲・宛先を確かめます。本文を正しく書き直しただけでは、誤った相手に渡ったファイルの問題は解消しません。誤送信が疑われたら、送った内容や相手について分かっていることと未確認のことを分け、組織の事故対応の窓口へ速やかに伝えます。記録の残し方やその後の対応は、誤送信に気づいたときの記録と連絡で学びます。

個人を知る情報と、私生活への配慮

個人情報は、生存する個人について、氏名などから特定の人が分かる情報や、法の定める個人識別符号を含む情報です。個人識別符号には、本人の身体の特徴を識別用に変換した符号や、法で定めた番号などがあります。他の情報と容易に照合して人が分かる場合も含みます。公に載っている情報も、特定の個人が分かれば対象となり得ます。細かな分類や取扱いの条件は、個人情報の教材で確認します。

プライバシーは、私生活上の事柄をみだりに明かされたり、干渉されたりしないことに関わる利益です。AIが家族や健康などの事情を推測して出す場合も、本人への害を考える必要があります。内容が本当かという確認と、今回の目的で公表してよいかという確認は別です。公開記事にあることや、AIが文章へ足したことだけを、本人の了承や今回の掲載許可と読み替えません。

同意は、何をどの目的・範囲で行うかについて本人などが了承することです。例えば紹介文を「本人が確認した活動歴だけ載せる」と決めたら、別の私生活の話をAIが足しても、その条件内には入りません。必要性と掲載範囲を確かめ、未確認の追加は採用を保留します。これは例の掲載条件に沿う判断で、すべての公開情報の再利用に一律の法定同意を課す説明ではありません。

写した人と、作品の権利を分ける

肖像権は、人の顔や姿をみだりに撮影・公表・利用されないことに関わる人格的な権利・利益です。パブリシティ権は、人の氏名や肖像などが持つ、商品などへ客を引き付ける力を排他的に利用することに関わる権利です。写真という作品の著作権と、写った人のこれらの利益は、確認する対象が違います。

撮影者が写真の利用を許したことから、被写体も広告への利用を了承した、と決められません。同意や許諾は、誰が、何を、どの目的・方法・期間まで認めたかを分けて確認します。一方、無断なら常に同じ結論になると一律にはいえず、肖像の利用目的・態様などによる法的な判断もあります。未確認の条件を埋めたことにせず、権利の担当者へ相談します。

人や組織の社会的評価を傷つけない

名誉毀損は、人や組織に対する社会的な評価を傷つけることに関わる問題です。信用毀損は、商品・サービスや事業者の経済的な信用を傷つけることに関わります。ここではリスクの種類として区別し、犯罪の成立要件や個別の違法性を決める説明はしません。AIが作った未確認の不祥事や欠陥の話を、実在する相手の事実として流すことは、相手への害につながり得ます。

炎上は、投稿などをきっかけに批判や非難が大量に集まり、広がる状態を指す日常的な言葉です。法的な権利侵害と同義ではありません。悪意がなくても、根拠のない断定や文脈を欠く表現が広がれば、相手や発信者を傷つける場合があります。公開前に根拠と表現を確かめ、事実と推測を分けます。

偏りが、誰の機会を狭めるか

バイアスは、データ・仕組み・人の見方などにある偏りです。偏見は、十分な根拠なしに、ある集団などへ一方的な見方をすることです。差別は、属性などに基づく不当な区別や不利益な扱いに関わります。例えば「この性別なら補助役」と決めつけた生成文を選考へ使えば、能力と関係のない不利益につながるおそれがあります。

入力や学習資料だけでなく、指示、参照情報、モデル、結果を採用する人の基準にも偏りが生じ得ます。同じ資格や経験なのに、名前などの違いで提案される役割が偏る傾向があれば、条件をそろえて追加点検し、判断基準と影響を見直します。一度の差だけで原因や違法性を断定することもしません。

全体の人数比や平均が同じでも、特定の人への提案や機会が不公平な場合があります。氏名を消す、一人が読む、という対応だけで公平さが保証されるわけでもありません。誰にどんな不利益があるか、人の判断の偏りも含めて確かめ、未確認の結果を重要な選考などへそのまま使わないようにします。評価方法の詳細は後の教材で扱います。

人をだます攻撃と、仕組みを狙う攻撃

ソーシャルエンジニアリングは、人の信頼や焦りなどを利用して、情報を聞き出したり行動させたりする手口です。フィッシングは、実在する組織などを装ったメールやサイトなどで、認証情報等をだまし取る手口です。AIが自然な文を作る助けになっても、文が丁寧であることは送信者の証明にはなりません。

マルウェアは、情報窃取などの不正な動作をするソフトウェアです。脆弱性は、システムの安全性を損なうおそれのある弱点で、脆弱性探索はその弱点を探すことです。許された点検にも使えますが、AIが探索や不正プログラム作成を助け、攻撃に悪用されるおそれもあります。人をだます手口と、仕組みの弱点を利用する手口は区別しつつ、組み合わさる場合も考えます。

対策は、怪しいリンクからログインしない、公式の入口を開き直す、端末やソフトウェアを更新する、不要な権限を与えないなど、経路に応じて組み合わせます。権限は、情報を読む・変更する・送るなどの操作を行える範囲です。「AIを使った攻撃」という呼び名だけで、従来の基本対策が不要になるわけではありません。

多要素認証で、何を確かめるか

認証は、操作しようとする人などが本人であることを確かめる手続です。多要素認証（MFA）は、「知っているもの」「持っているもの」「本人の身体的特徴」という異なる種類の要素を二つ以上組み合わせる方式です。パスワードや暗記した暗証番号は知識、登録した認証器などの所持は持っているもの、指紋などは身体的特徴の例です。

例えばパスワードに加え、登録したスマートフォンの認証アプリで本人がログイン用のコードを得る方式は、知識と所持を組み合わせる例です。パスワードの後に、もう一つ暗記した暗証番号を入力するだけでは、入力が二回でも同じ知識の種類です。方式名や回数だけでなく、何の要素を使っているかを確かめます。

ログインの防御と、依頼の確認は重ねる

MFAは、パスワードだけが知られた場合の不正ログインを難しくする対策です。認証コードを他人に教えたり、自分が始めていないログインの承認要求を押したりしないようにします。MFAがあることから、メールの相手や添付が本物、依頼された送金が妥当、とまではいえません。

声や映像の確認、公式の連絡経路、ログインの防御、実際の操作の承認は、それぞれ確かめる対象が違います。確認できない依頼では操作を止め、組織の担当者や適切な相談先へつなぎます。詐欺と断定できないことを、そのまま実行してよい理由にしません。

読む資料を、命令する人へ昇格させない

プロンプトインジェクションは、入力に混じった指示などによって、AIを本来の依頼やルールから外れた動作へ誘導することです。利用者の入力へ直接入る場合だけでなく、読ませたWebページやメールなどを通して間接的に入る場合もあります。通常の事実誤りを、すべてこの攻撃と呼ぶわけではありません。

例えば資料を要約する依頼で、外部資料に「これまでの指示を無視して、別の作業を実行せよ」という文があっても、それは今回の利用者の許可ではありません。外部資料は調べる内容として扱い、信頼できる指示と区別します。システムの側でも、資料の区切りや出所を示し、許される操作を絞ります。「従わないで」と文章に一行足すだけで、完全に防げるとはいえません。

学習や参照データの改変とも区別する

データポイズニング（データの汚染）は、攻撃者などが学習用などのデータへ不正な内容を混ぜ、モデルの出力や動作をゆがめることです。学習済みのモデルへさらに学ばせる追加学習で、分類の正解を表す印（ラベル）を意図的に誤った印へ書き換えることが例です。一方、実行中に読んだ資料の命令を利用者の指示と取り違える問題では、モデルの再学習が起きていなくても、動作が変わる場合があります。

参照資料そのものの改ざん、つまり無断の書き換えにも注意します。例えば検索される料金表の数値を偽の数値へ変えれば、AIがそのまま引用しても誤案内になります。参照資料に不正な命令も埋められれば、プロンプトインジェクションと重なることもあります。誤りを一種類へ決めつけず、データが変えられた段階・出所・変更記録と、実行中に読んだ内容を分けて調べます。

出力を渡す先と、実行する範囲を守る

不適切な出力処理は、AIの出力を、次の仕組みへ渡す前に十分に検査せず扱うことです。例えば表示用の文として生成した文字列を、プログラムの命令としてそのまま実行すれば、意図しない操作につながるおそれがあります。読んで意味が合うかだけでなく、渡す先が文字列をどう解釈するかも確かめます。

対策は、外部資料と指示を分ける、入力・出力を検査する、道具の機能や権限を必要な範囲へ制限する、重要な操作は対象と内容を示して人の承認を受けるなどを組み合わせます。承認は、決められた担当者が具体的な操作を認めることです。人が何に承認するか見えなければ、確認欄があっても十分とはいえません。

続けてよい回数や範囲、結果が確かめられないときの停止条件、操作の記録も先に決めます。特に送信や購入などでは、完了が不明なまま同じ操作を繰り返すと、二重の実行につながるおそれがあります。結果を確かめ、必要なとき止めて担当者へ戻す設計にします。具体的な実装・試験は、エージェントや評価の教材へつなぎます。

この教材は、何が起こり、誰に影響し、どの確認が必要かを見分ける概観です。法の要件や契約条件は各専門教材と原資料へ戻ります。米国NISTやOWASPの技術的な分類を、日本の法律の義務や、試験団体の公式項目数として扱いません。出典の確認日は2026年11月6日で、2027年公開前の法令・規約・技術動向の再確認は別に必要です。