ChatGPTの回答はデタラメばかり|間違いを指摘すると同じ言い訳に終始

 話題のChatGPTの性能を確かめるために、都市伝説を質問してみました。

 まず、都市伝説として有名な「きさらぎ駅」の場所を尋ねます。すると、駅の住所や電話番号まで回答してくれました。しかし、それは、当然間違っています。それを指摘すると、別の住所を答えます。それも間違っていると指摘すると、さらに別の住所を回答します。嘘がバレない間は何度でも偽情報を表示するようです。

 この詳しいやりとりは、過去記事「きさらぎ駅の謎」に追記したので、そちらでお読み下さい。

 次に、先日フジテレビで放映された「稲荷祭りの夜に神隠しに遭った男子高校生と女子中学生」についてもChatGPTに聞いてみました。ほとんど期待していなかったのですが、

 『「南三陸町失踪事件」として知られる事件は、1998年8月12日に宮城県南三陸町で発生しました。当時、男子高校生の伊藤誠さん(当時17歳)と女子中学生の山田真理さん(当時14歳)が、地元の祭りである「南三陸みなとまつり」に参加しました。』と詳しい情報を回答してくれました。

 当然、この回答はデタラメで、こんな失踪事件などありません。しつこく追求すると、情報に誤りがあったことを認め、回答を撤回するChatGPT。きさらぎ駅のケースと全く同じです。

 これについては、過去記事『「都市伝説?夏祭りで神隠しにあった2人!?」「世界の何だコレ!?ミステリー」失踪した場所をChatGTPに聞いてみたら、失踪者の氏名まで書かれていた!?』に書いているのでそちらをご覧下さい。

 マスコミは、ChatGPTの何をそんなに評価しているのか不思議です。単に話題づくりなのでしょうか。記事ネタになるから、話しを盛り上げようとしているのでしょうか。

 著作権や個人情報について、もっともらしく記事を書いていますし、Wikipediaの出来の悪い項の執筆者も同じ視点のようです。しかし、ChatGPTが全くのデタラメを表示し続けるという事実には触れていません。ChatGPTがすばらしい技術であるとはやし立てているだけです。

 ChatGPTが本当に使えると本気で考えているのでしょうか。学生のレポート程度には使えても、出典を示すことができないChatGPTの作文が実社会で通用するとは思えません。ChatGPTは自らの回答に対し出典を示すことができないという致命的な欠陥を持っています。

 出典を質問すると、たくさんの出典を挙げるだけ。それに書かれていないと指摘すると、逃げに入ります。AIなので・・・と。

 上で挙げた都市伝説の事例でも明らかなように、ChatGPTは出典を示せません。出典もないのに自信満々に答えを書いています。すべてデタラメの回答です。しかし、出典を尋ねられると、二度目までは嘘がばれないようにがんばりますが、三度目(あるいは四度目)には、降参して、AIなので・・・と言い訳をします。

 作文ソフトとしては、ChatGPTはとても優秀で、誤字もないし、おかしな表現もありません。メディアのライターよりも優れています。しかし、情報を平気でねつ造するのは問題です。ネット上に存在する情報をつなぎ合わせたのならまだ分かりますが、「南三陸町失踪事件」をでっち上げ、被害者の氏名までねつ造するようではお話になりません。このようないい加減なソフトをメディアは自社で使う気なのでしょうか。