AIは自信満々に間違える! 信じすぎないことが大事

 |  |  | 0

看板施工や道具についてブログ記事を書く時にも、確認のためにAIに聞いてみることがある。けれど・・間違ってない?と思うことがある。「それってあってる?こうじゃないの・・」と聞いてみると、「こめん、さっきの回答は間違っていました。正しいのはこうです」と訂正してくることがしばしばある。さらに追求してみたら怖い回答が出てきた・・。

 

1.AI回答って、本当に全部正しいの?

 

 

 

「ChatGPT」に聞いてみたら、びっくり程怖かった意外な回答・・。

 

 

 

 

看板の素材調べや、電気について調べたいことがある時にも「AI(人工知能」を使うことがある。

 

 

 

 

主に「ChatGPT」「Google AI検索」

 

 

 

 

「今の回答なんかおかしいな・・?」と思うと両方に同じ質問を問いかける・・。全く違う回答が返ってくることがありました。

 

 

 

 

そこで疑問に思ったので、 ChatGPTに質問を繰り返した。

 

 

 

 

すると、話は思わぬ方向へ進みました。

 

 

 

 

2.AIは、なぜ間違えるの?

 

 

 

 

 

ChatGPTに聞くと、AIは「正解が保存されたデータベースから答えを取り出している」わけではないとのこと。

 

 

 

大量の文章などから学習したパターンをもとに、「この質問なら、この答えが適切そうだ」と判断して文章を生成しています。

 

 

 

・正しい情報 → 正しい回答  

 

・間違った情報 → 確信しているような回答

 

 

 

 

しかも厄介なのが、その文章がとても自然なこと。

 

 

 

 

「定かではないが・・」と言いながら答えるのではなく、まるで専門家のように断定してしまいます。

 

 

 

 

そこで「間違っているのにどうして確信しているかのように回答するの?」と聞いてみた。

 

 

 

回答の中に・・

 

 

学習によって、

・この言葉とこの言葉はこういう関係

・この質問にはこういう説明がされることが多い

・この状況ではこういう回答が適切

・人間はこういう説明を好む(一番怖い)

 という非常に大量のパターンを身につけています。

 

 

 

 

 

この最後の回答「人間はこういう説明を好む」を見て、「それって、ちょっと怖くない?」と思ってしまった。

 

 

 

 

 

ここで思い出したのが、以前ChatGPTに電気回路について質問したときのことです。

 

 

 

 

お勉強のため事務方の私は、チャッピーに聞いてみました。

 

 

 

 

 

回答がおかしかったので「間違ってないですか?」と返答すると、「ごめん、さっきの答えは間違っていました。こちらが正解です・・」と。

 

 

 

 

 

修正されても、信用できなくなります。

 

 

 

 

 

もしも、電気工事店の自信がないスタッフが、確認のためにAIを使ったとして、AIの方を優先してしまったとすると、「間違っていた」では済みません。

 

 

 

 

電気は、配線を間違えれば、ショートや発熱、漏電などにつながる可能性があります。

 

 

 

条件によっては、火災など重大な事故につながることもあります。

 

 

 

 

 

3.AIはどうして確信を持った回答をするのか?

 

 

 

 

 

そこで・・「確信がないのに、どうしてそんなに自信を持って答えるの?」と聞いてみました。

 

 

 

ChatGPTの説明は・・

 

AIは人間のように、

 

「これは95%くらい自信がある」

 

「これはちょっと分からないから確認しよう」

 

と、自分の知識の確実性を完全に把握しているわけではありません。

 

だからこそ、文章の自信と、情報の正確さは別物なのです。

 

 

こんな回答でした。

 

 

 

■Google AIなら大丈夫?

 

 

さらに気になりました。

 

 

「ChatGPT」と「Google検索AI」で答えが違うことがあるけど、なぜ?」と聞いてみた。

 

 

それぞれ別のAIモデルであり、学習方法や使っている情報、回答を組み立てる仕組みなどが異なるからです。

 

Web検索を利用していたとしても、検索結果そのものが正しいとは限りません。

・AI Aが「Aです」

・AI Bが「Bです」

と言った場合、どちらかが必ず正しいとは限らない

 

結局、重要なことは一次資料や公式情報で確認する必要があります。

 

 

 

答えはシンプルでした。

 

 

 

4.NISTという存在を知る

 

 

 

 

 

この話をしている中で「NIST」という組織についても知りました。

 

 

 

*NISTと、はアメリカ国立標準技術研究所。

米国国立標準技術研究所(NIST)は、情報技術研究所(ITL)のAIプログラムが主導し、民間および公共部門との協力のもと、人工知能(AI)に関連する個人、組織、社会へのリスクをより適切に管理するためのフレームワークを開発した。

 

 

簡単に言えば、技術を安全・適切に利用するための基準や評価方法などを研究している政府機関のようです。

 

 

AIには

・どんな能力があるのか?(だけではなく)

・どんな間違いをするのか?

・どんなリスクがあるのか?

・どうやって評価・管理すればいいのか?

 

という視点で研究している。

 

 

データの漏洩などの管理も行っているようですね。

 

 

 

 

■AIを利用しないと取り残されるような広告・・信用しても大丈夫なの?

 

 

 

最近、Instagramなどでもよく見かける広告について聞いてみた

 

 

 

*複数のAIを使い分けて、データ整理から資料作成まで自動化する――。

「人間なら数日かかる資料を、AIなら数時間で作れる」という広告をよくみます。と聞いてみた

 

 

 

チャッピーの回答は・・

 

これは十分あり得る話だと思います。

例えば、

AI①:情報収集
AI②:データ整理
AI③:分析
AI④:文章作成
AI⑤:PowerPoint作成

というように役割分担させれば、人間の作業時間を大幅に減らせる可能性があります。

 

ただし、「作成時間が短くなる」ことと「正確な資料ができる」ことは別問題です。

 

 

 

AIが3時間で作った100ページの資料。見た目は完璧でも、数字が1か所間違っていたらどうでしょう?

 

 

・AIに作らせる → 人間が確認するという役割分担が重要になります。

 

 

 

 

やっぱり人間の最終確認は必須ということでしたねw。

 

 

 

5.質問内容、データ情報は管理されている?

 

 

 

 

 

 

次に・・

重要なデータ(例えば会社の財務表の作成)を、AIを使うとしたら、漏洩の心配はないの?と聞いてみた。

 

 

 

ここにも注意が必要です。

 

 

 

売上や利益だけでなく、取引先や借入、経営上の重要な情報などが含まれる場合があります。

 

 

 

それをAIに丸ごとアップロードするなら、

 

「このサービスは入力したデータをどう扱うのか?」を確認した方が良さそうです。

 

 

 

 

・AIの学習に使われるのか、保存されるのか、誰がアクセスできるのか――。

 

・AIの性能だけでなく、情報管理の問題も考えなければいけません。

 

・AIを信用しないのではなく、使い方を考える

 

 

 

 

6.まとめ

 

 

今回ChatGPTと話してみて、一番感じたのは、

 

 

・「AIは信用できない」のでもなく

 

・「AIを正しく信用する必要がある」

 

 

 

ということでしたね。

 

 

 

AIは、情報整理、文章作成、データ分析、資料のたたき台作成など、人間の仕事をものすごく効率化できる可能性もあります。

 

 

 

けれど・・

・AIが言ったから正しいとは限らない。

 

 

 

特に電気、法律、医療、財務など、間違いが大きな問題につながる分野では、AIの回答をそのまま現実の判断に使わないことが重要だと思いました。

 

 

 

AIを使う今の段階では

 

・「AIの能力に全部任せる」ではなく、

 

 

・「AIに何を任せて、何を人間が確認するかを判断する能力」

 

 

  ・AIに任せるところ。

  ・人間が確認するところ。

  ・専門家に判断してもらうところ。

 

 

 

なのでしょうと思いました。

 

 

 

 

ありがとうございました。

 

 

 

 

 

大阪で看板製作・施工は看板屋 ㈱ラグレスまで・・他府県でも対応可能です。

 

まずは、御見積り・お問い合わせからでもお気軽に・・・・・