生成AIを安全に活用するために知っておきたいリスクと対策

AI って便利ですよね。
話しかけると何でも答えてくれるし、自分でやるとすごくたいへんな作業だっていくらでもやってくれます。
「資料作成も3分で完了！」といった動画広告も見かけるようになりました。

業務効率化として AI を積極的に活用していこう！と意気込む企業も増えてきています。
むしろ、「早く AI を取り入れないと時流に乗り遅れてしまうのでは？　この先、やっていけなくなるのでは？」という不安に駆られているひともいるかもしれません。

しかし、AI は便利なツールである一方で、使い方によっては個人や組織にとって、思わぬ問題につながる可能性もあります。

そこで今回は、AI の利用に関する注意点と、それらへの対策についてまとめました。
主に、「生成 AI」と言われる、学習したデータを元に新たなコンテンツを生み出せるタイプの AI についての情報です。

生成 AI の特徴と注意点

まず、生成 AI の特徴と絡めて、注意が必要な点を9つ紹介します。

それぞれ詳しく見ていきましょう。

1. 事実と異なる間違った結果を出力する

生成 AI の AI モデルは、人間と同じように意味を理解しているのではなく、学習データに基づいて「次に配置されそうな結果」を確率で選んで並べています。（この選び方を「確率的推論」と言います。）

テキスト生成であれば、次につながる確率の高い言葉を選出して順に出力しています。
画像生成であれば、こういう形のものの近くにはこういう形が描画されている確率が高い、という判断で描画します。

そのため、AIの回答や出力される結果は事実確認がされていないため、内容が事実と違った結果が出力されることがあります。

特に、学習データの少ない最新の情報については、古い情報と混ざってしまい間違った回答がされやすい傾向にあります。

2. 情報源の根拠が不確かなことがある

「なぜその回答になったのか」を聞いても、正しい情報源（ソース）を示せないことがあります。

時には、ソースとして存在しない URL や、存在しない論文のタイトルを提示することもあります。

3. 出力結果がゆらぎ、出力ごとに回答が変わる

「人間らしさ」を感じさせるために出力結果に「ゆらぎ（振れ幅）」が出ることがあります。

たとえば、同じことを聞いたら毎回一言一句変わらない結果が返ってくると「これはロボットだ」と思いますよね？
そう思わせないために、同じ質問をしてもその時々で少しずつ返答が変わるようにしてあります。

また、AI モデルによって学習データや結果を出力させるためのルールが違うため、使うモデルによっても回答が変わります。

4. 質の維持が難しく、使いこなすにはプロンプトの工夫が必要

「〇〇について書いて」「〇〇の画像を作って」のようなざっくりした指示だけでは、質の高い文章や画像は作りにくいです。
「1. 事実と異なる間違った結果を出力する」で書いたように、生成 AI の AI モデルは「確率が高そうなもの」を出力するため、単純な指示ではありきたりで平凡な答えしか返ってこないことが多いです。

良い出力結果を得るためには、条件や参考資料を含めた、細かな指示（プロンプト）や工夫が必要になります。

現状、その道のプロのようなクオリティのものが現時点では簡単に生成できるわけではありません。

5. 生成 AI による生成物かどうかが見分けにくい

ざっくりした指示では質が維持できない一方で、細かく丁寧な指示を出せば、自然で高品質な文章や画像を作ることもできます。

その結果、生成 AI で作られたものかどうかを人間の目で見分けるのが難しくなっています。

悪意を持って作られたフェイクニュースやデマであっても、一見すると本物のように見えてしまうリスクがあります。

6. 倫理的な判断は自分ではできない（モデルによって安全性に差がある）

AI には、善悪の判断（倫理観）が備わっているわけではありません。

倫理的な出力をするよう訓練されているモデルも増えていますが、それはあくまで開発者が設定したルールやフィルタリングによって制御されているものです。

モデルや使い方によっては、暴力的だったり差別的だったりする内容が出力される場合があります。

また、開発者の方針によって制御されているため、すべてのモデルで同じレベルの安全性が担保されているわけではなく、意図的に偏った内容を出力させることも、技術的には可能です。

7. 情報流出の可能性がある

入力した内容が、AI モデルの学習データとして使われたり、管理者に見られたりすることがあります。
別の誰かへの回答として表示されてしまう可能性もゼロではありません。

一部の AI システムにおいては、チャット履歴が Google の検索結果に表示されてしまう設定になっていたこともありました。

また、サービスによっては無料プランでは入力内容が学習データとして使用される設定がデフォルトでオンになっている場合があります。

有料プランへの切り替えや設定変更で対応できるケースもありますが、サービスや時期によって異なるため、利用前に各サービスの利用規約やプライバシーポリシーを確認することが大切です。

プライバシーに関わるような情報（住所・氏名、メールアドレスなど）や、会社の機密情報などを直接入力、または、資料として読み込ませてしまうと、情報が外部に漏れる危険性があります。

8. 著作権関連のリスクがある

AIモデルの学習データに、著作権を侵害したものが含まれている可能性があります。実際に海外では複数の裁判が起きており、日本でも同様の問題が議論されています。

また、著作権上問題ない形で学習されていたとしても、それらの学習データに基づいて、既存のキャラクターや作品にそっくりな結果が生成されてしまうことがあります。
画像生成に限らず、テキスト生成においても著作権のある文章に酷似した出力が生成されるリスクがあります。

こういった生成物が著作権を侵害していると認められる場合がありますが、現時点では法整備が追いついておらず、国や状況によって判断が異なるケースも多くあります。

9. 従来よりも多くの電力を消費する

AI モデルの学習や推論に必要なサーバーを動かすには、膨大な電力が必要です。
私たちが普段利用しているクラウドサービスやゲーム、動画配信サービスなどに利用されているデータセンターも多くの電力を消費していますので、AI に関することだけが問題なわけではありません。

ただ、AI に関連する開発や運用には従来よりもさらに多くの電力が必要となるため、今後の消費電力量の増加が問題視されています。

例えば、ChatGPTへの1回のリクエストはGoogle検索の約10倍の電力を消費するというデータもあります。

また、サーバーを動かすためだけでなく、半導体の製造にもエネルギーが必要になります。

半導体の製造企業が集中している東アジア地域では、地域によっては火力発電の割合が高く、温室効果ガスの増加も懸念されています。

---

個人・組織・社会、それぞれのレベルで注意したいこと

ここまで述べた内容が、具体的にどういったリスクがあるか、は「個人」「組織」「社会」の3つのレベルに分けて見ていきます。

個人レベル

医療・法律・税務の情報に間違った内容が出力される

医療、法律、税務のような、専門的で生活に大きく関わる内容について、生成 AI が出力した情報をそのまま信じると、深刻な被害に遭う危険性があります。

生成 AI は正しい知識を与えてくれるものではありません。もしその情報が間違っていて問題が起きても、AIは責任を取ってはくれず、現時点では生成AIが出力した情報による被害の責任は基本的に利用者側が負う形になっています。

こういった専門的な内容については、生成AIの出力をそのまま判断材料にするのではなく、必ず専門家に確認することが大切です。

誤った情報を発信して広めてしまう

たとえば、信頼できる情報源を与えた上で「この内容をまとめて」とお願いしたとします。
その結果として生成 AI が出力したものでも、元の情報源と一致している保証はありません。

AIが情報を要約する際に、意図せず内容を変えたり、不明瞭な箇所を補完してしまうことがあるためです。

他のひとが発信した情報の中にも、生成 AI によるデマやフェイクニュース、ディープフェイク（動画や音声を本物そっくりに加工したもの）が含まれている可能性があります。

こういった誤った情報に気付かないまま、自分自身が拡散してしまう危険性があります。

いつの間にか偏った情報に触れてしまう

生成 AI は「中立」「正義」「論理的」とは限りません。
開発者の方針によって制御されているため、学習データ自体に偏りが含まれている場合もあります。
例えば特定の地域や言語のデータが多い場合、その文化的な価値観が反映されやすくなります。

そのため、利用する AI モデルによっては、倫理的に問題がある内容に触れやすくなる場合があります。

入力した情報が他のひとに閲覧される

名前や住所、メールアドレスなどの個人情報を入力した場合、入力したデータが学習データとして利用され、内容の一部が別の場面で出力される危険性があります。

学習データとして利用しない場合にも、システムの管理者は入力内容を見られる場合があります。

個人情報や他人に見られては困る情報は、そもそもAIに入力しないことが大切です。

著作権や肖像権を侵害してしまう

生成 AI に生成させた内容が、既存の作品やキャラクターに酷似していた場合、著作権侵害と認められる場合があります。

また、実在の人物にそっくりな画像や動画を生成させた場合は、その使用目的や公開方法によっては肖像権の侵害と認められる場合があります。

組織レベル

医療・法律・税務の情報に間違った内容が出力される

医療、法律、税務といった専門的で生活に関わる知識について、生成 AI で得た情報を元に発信・対応すると、組織が深刻な被害に遭ったり、相手に深刻な損害を与えて法的トラブルに発展する危険性もあります。

生成 AI は正しい知識を与えてくれるものではなく、誤った場合にもその責任を負ってはくれません。

また、AI モデルは、過去の著名な作品や、場合によっては著作権を侵害したデータを学習に利用していることがあります。そのため、既存の著作物と類似したものが生成される場合があり、気付かずに商用利用すると、著作権侵害などの法的トラブルに発展する危険性があります。

誤った情報を発信する

くりかえしますが、生成 AI で出力された情報は、正しいとは限りません。
情報源となるデータを与えた上で出力させたとしても、その中身を正確に読み取って出力しているという保証はありません。
不明瞭な箇所や AI モデルがうまく読み取れなかった箇所を勝手に補ってしまうこともあります。

生成 AI を利用して書かせた内容を細かくチェックせずに公開している企業もあります。

組織レベルで誤った情報を公開・拡散すると、組織の信用低下にもつながります。

低品質な成果物を提供してしまう

生成 AI の出力に頼って、品質チェックや運用フローを疎かにすると、商品やサービスとして価値の低いものを顧客に提供してしまいます。

生成 AI を使用すれば、早く安く大量に作れますが、質の悪いものを出し続ければ、企業としての価値や信頼は下がってしまいます。
便利さを優先しすぎると、長い目で見ると大きな損失となる可能性があります。

倫理的に問題がある情報を発信する

生成 AI は「中立」「正義」「論理的」とは限りません。
開発者の方針によって制御されているため、利用する AI モデルによっては、倫理的に問題があるような内容を出力する場合があります。

倫理的な問題が含まれる生成物を発信してしまった場合、組織の信用低下や法的トラブルにつながります。

機密情報が外部に漏れる

顧客情報や、開発中の製品情報などの機密情報を入力した場合、入力したデータが AI モデルの学習データとして利用され、内容の一部が別の場面で出力される危険性があります。
学習データとして利用しない場合にも、システムの管理者は入力内容を見られる場合があります。

過失により誤って情報を与えてしまう可能性も含めて、注意が必要です。

社会レベル

誤った情報が溢れ、ひとびとが翻弄される

すでに、フェイクニュースやディープフェイク（動画や音声を本物そっくりに加工したもの）が社会問題となっています。
生成 AI を使えば、短い時間で大量の誤情報や偽情報を作れます。しかし、その情報一つひとつをチェックする人間の能力には限界があり、AI のスピードにはとても追いつけません。
そうなると、ひとびとは目の前の情報を一旦疑って動けなくなるか、逆に、一旦すべて信じてしまって誤情報に振り回されるか、どちらかの状況に陥りやすくなります。

従来よりも多くの電力を消費し、環境へも負担がかかる

AI モデルの学習や推論に必要なサーバーを動かすには、膨大な電力が必要です。

私たちが普段利用しているクラウドサービスやゲーム、動画配信サービスなどに利用されているデータセンターも多くの電力を消費していますので、AI に関することだけが問題なわけではありません。

AI に関連する開発や運用には従来よりもさらに多くの電力が必要となるため、今後の消費電力量の増加が問題視されています。

半導体の製造企業が集中している東アジア地域では、地域によっては火力発電の割合が高く、温室効果ガスの増加も懸念されています。

組織レベルでの対策

このように生成 AI はとても便利な反面、使い方に注意しないとさまざまなリスクやトラブルにつながることがあります。

では、私たちはそれをどう使っていけばいいのでしょうか？
危険だからと一切使わないほうがいいのでしょうか？

私たちは、ストレンジブレイン株式会社という一企業としてこの問題に向き合っていく必要がありますので、ここからは「組織レベル」で生成 AI を使用する際に取れる対策を7つまとめました。

それぞれ詳しく見ていきましょう。

できる限り問題が少なく、信頼できる企業によって開発されたモデルを選択する

AI モデルや AI システムを選ぶときは、単に性能が高いかどうかだけで決めるのではなく、開発している企業がどのような考え方で運営しているのかにも目を向ける必要があります。
たとえば、著作権を侵害したデータを学習に使っていないか、利用者の入力内容を学習データに使わない方針を明確にしているか、といった点も重要な判断材料になります。
あるいは、膨大な電力消費に対してどう考えているのか、対策を検討しているのかどうかにも着目できます。

現時点では、生成 AI の開発にまったく問題がないと言いきれる企業を見つけるのは難しそうです。そのため、その中でもできるだけ問題が少なく、利用ルールや規約がはっきりしているサービスを選ぶ姿勢が求められます。

機密情報・未公開情報は生成 AI に渡さない

外に漏れてはいけない情報は、生成AIに入力したり読み込ませたりしないことが基本です。たとえば、顧客情報や、取引先から預かっている未公開の情報、開発中の製品や企画の内容などです。

サービス側が「学習には使わない」としていても、AI システムの開発や運営をしている側が、管理のために利用者の入力内容を見られる状態になっている場合があります。
そのため、「学習されないなら安全」と考えるのではなく、そもそも重要な情報は渡さないという考え方が必要です。

生成された情報に誤りがないか、最終的に必ずひとの目でチェックする

生成 AI が出した情報は、必ず最後にひとの目で確認し、本当に正しいかどうかを判断しなければなりません。

もし内容を十分に確認できないのであれば、その生成物は使わないという判断も必要になります。

特に、医療、法律、税金など、専門的で生活に大きく関わる内容については、必ず専門家の確認を受ける必要があります。
また、生成 AIで文章や資料を作るときに使った情報源そのものが、実は別の生成 AI によって作られた不正確な内容である可能性にも注意しなければなりません。
さらに、チェックリストを使って AI システムに確認させた場合でも、そのチェックが本当に正しくできているとは限りません。AI にチェックさせたこと自体を、ひとがもう一度確かめる必要があります。

ストレンジブレインでも、「どこをチェックすべきか」という独自のチェックリストを作りながら、必ずひとの目で品質をチェックしながら利用しています。

プログラムについても同じで、「きちんと動くかどうか」だけでは不十分です。
見た目には動いていても、セキュリティ面で問題がある可能性もあるため、そこまで含めて確認しなければなりません。

生成 AI による生成物をそのまま利用せず、ひとの手で調整する

生成 AI が作った文章や画像、企画案などは、そのまま完成品として使うのではなく、まずはたたき台として考えることが大切です。

つまり、生成 AI の出力を出発点にして、ひとが内容を見直し、必要に応じて修正や調整を加えることが前提になります。
こうすることで、誤りや不自然な表現を減らし、組織として出すものの質や信頼性を高められます。

生成 AI の進化だけでなく、関連する問題点にも情報のアンテナを張る

生成 AI について、「新しいことができるようになった」「すごい技術だ」といった面だけを見て、深く考えずに使ってしまうと、思わぬトラブルや信頼の低下を招くことがあります。

大切なのは、便利さや新しさだけでなく、生成 AI によってどのような問題が起こり得るのかもあわせて知っておくことです。
そうした問題点を理解し、必要な対策を取ることで、組織として「信頼できる使い方をしている」という姿勢を示せます。

たとえば、IPA（独立行政法人情報処理推進機構）からは、2〜3ヶ月おきに「AI セキュリティ短信」が公開されています。
これは、セキュリティの観点で AI の動向や事例をまとめたものです。やや専門的な内容を含みますが、具体的な AI システムの名前を挙げながらどのような問題があったのかを知らせてくれています。

生成 AI の利用に関するガイドラインを定める

組織の中で生成 AI を使うのであれば、あらかじめ利用ルールを決めておくことも重要です。

たとえば、以下のような内容です。

• どのAI モデルを使ってよいのか、逆にどの AI モデルは使わないのか
• どの業務では使ってよいのか、どの業務では使わないのか
• 商品やサービスの品質を保つためにチェックすべき点はどこか
• 実際に誰が生成 AI を使い、誰がその結果を確認するのかといった役割分担

こうしたルールがあいまいなままだと、個人や現場によって判断がばらばらになり、トラブルが起きやすくなります。

参考として、デジタル庁も生成 AI の利用に関する考え方を示しています。

万が一、トラブルに発展した場合の対応フローを想定しておく

どれだけルールを整え、注意して運用していても、ひとが関わる以上、ミスを完全になくすことはできません。
そのため、問題が起きないようにするだけでなく、もし実際にトラブルが起きたらどう動くかも、あらかじめ決めておくとよいでしょう。

起こり得るトラブルを想定し、最初に誰が確認し、誰に報告し、どのように対応するのかという流れを決めておけば、混乱を減らして早く事態をおさめることにつながります。

まとめ

生成 AI はとても便利な反面、規制や法整備も不十分のため、使い方に注意しないとさまざまなリスクやトラブルにつながることがあります。

しかしその一方で、さまざまなひとの助けとなる便利なツールであることもたしかです。

危険性や起こり得る問題をきちんと理解し、取り得る対策を取った上で使用されることで、より多くのひとが安心して使っていけるツールになっていくのではないでしょうか。

ストレンジブレインでも、業務の品質を保ったり問題を避けられるよう、生成 AI 利用時のチェックリストやガイドラインの制定を進めながら利用しています。

参考資料

今回の情報をまとめるにあたって参照した資料について、本文中で紹介しきれなかったものを以下にまとめています。

• 本文下部に記載されている PDF の中身が全体像です。

上記の掲載元ページはこちら↓