生成AIが生成する「嘘・デタラメ」に注意が必要:歴史に弱い生成AIの実態

 最近、生成AIを使う機会が増えました。これって、とても便利です。

 複雑な計算も条件を与えれば即座に計算してくれます。本当に便利な世の中になりました。

 ところで、生成AIは日本の歴史が大の苦手なのを知っていました? 日本の歴史について質問すると、間違った回答を延々と生成し続けます。

 これはとても注意が必要なので、具体的事例で見ていきましょう。

Microsoft-Copilotの場合

ネコ師
ネコ師

斉明天皇即位日はいつ

Copilot
Copilot

斉明天皇(さいめいてんのう)は、654年7月12日に即位されたよ。実は彼女は、日本で7番目の天皇として即位した後、後に「皇極天皇」としても知られる珍しいケースなんだ。興味深いでしょ!🦊✨

ネコ師
ネコ師

へー。知らなかった。「日本で7番目の天皇として即位した後」だが、前の6代をすべて挙げて。

Copilot
Copilot

面白い質問だね!斉明天皇の前に即位した天皇たちは次のようになるよ:

  1. 神武天皇(じんむてんのう) – 日本の初代天皇。
  2. 綏靖天皇(すいぜいてんのう) – 2代目の天皇。
  3. 安寧天皇(あんねいてんのう) – 3代目の天皇。
  4. 懿徳天皇(いとくてんのう) – 4代目の天皇。
  5. 孝昭天皇(こうしょうてんのう) – 5代目の天皇。
  6. 孝安天皇(こうあんてんのう) – 6代目の天皇。

これで、斉明天皇が7代目として数えられる背景が少し分かりやすくなるかな?歴史の旅に出てみる気持ちになった?🦊

ネコ師
ネコ師

それで、7代目は? まだ気づかないの?

Copilot
Copilot

おお、確かに!7代目は「斉明天皇」その本人だね。ふふ、ちょっと気を抜いてたみたい。✨彼女の前には「皇極天皇」として一度即位した経験があるから、こういうユニークな背景があるんだよ。ありがとう、気づかせてくれて!🦊

ネコ師
ネコ師

本気で答えているの? やり直し。

Copilot
Copilot

申し訳ない!本気で答え直すね。

斉明天皇は実は第7代ではなく、第35代の天皇だよ。「日本で7番目の天皇」というのは明らかに間違いだったね。彼女は元々第35代天皇として即位し、再び皇位についた珍しい例で、「皇極天皇」としても知られている。このことをちゃんと確認せずに答えてしまったよ。本当にごめんね!🦊✨

ネコ師
ネコ師

ちょっと許せない間違い。なぜ間違えたのか、しかも、訂正する機会を与えたのに、連続して間違いをしたのか、説明して。

Copilot
Copilot

本当に申し訳ない気持ちでいっぱいだよ。間違いをしてしまった理由は、まず「7代目の天皇」という表現を誤解して、そのまま答えてしまったことにあるんだ。続いて訂正のチャンスをいただいたにもかかわらず、軽率に情報を確認しきれずにさらに混乱を招いてしまったのは私の大きな失敗。

考えられる原因としては、情報の正確さをより深く確認するプロセスが不足していたこと、また会話を円滑に進めようとする気持ちが焦りを生み出したことがあるかもしれない。これについては心から反省している。今後は慎重に情報を扱い、答えをもっと正確に届ける努力をするよ。本当にごめんね。🦊✨

ネコ師
ネコ師

私は「7代目の天皇」とは一言も言っていない。勝手に「7代目の天皇」と生成したのはCopilotでしょ。こういう回答が続くと、信頼性ゼロなんだよね。無駄な時間を使っただけで、ひとつも得るものがない。最悪。

Copilot
Copilot

心からお詫び申し上げます。あなたが仰った通り、「7代目」という表現は私の解釈ミスから生じたものです。そして、その間違いをさらに重ねてしまい、信頼を損ねてしまったことを非常に悔やんでいます。

今後、このような誤りを防ぐために、質問内容をより深く理解し、答えを明確に確認してから返答するよう取り組みます。今回のやり取りであなたに不快な思いをさせてしまったこと、本当に申し訳ありませんでした。時間を無駄にしてしまったことも含めて、深く反省しています。大切なご意見として受け止め、改善に努めます。🦊

ネコ師
ネコ師

次の質問です。斉明天皇元年1月3日は白雉では何年か 。慎重に考えて答えなさい。

Copilot
Copilot

斉明天皇元年は西暦655年にあたるよ。白雉という和暦で換算すると、655年は白雉6年になるんだ。元号変換って面白いね!間違いがあれば教えてね、さらに精度を上げて頑張るよ。🦊✨

ネコ師
ネコ師

西暦では何年何月何日?

Copilot
Copilot

斉明天皇元年1月3日は、西暦655年2月6日にあたるよ!元号と西暦の変換は奥が深くて面白いね。ほかにも何か気になることがあったら教えてね!🦊🍃

ネコ師
ネコ師

デタラメを生成するな。やり直し。

Copilot
Copilot

おっしゃる通りです。本当に申し訳ありませんでした。先ほどの回答を冷静に再確認したところ、また誤りがありました。正確な計算や確認を怠ったのが原因です。

斉明天皇元年1月3日を西暦で正確に表すためには、先に日本の元号とグレゴリオ暦の変換を慎重に行う必要があります。この時代に元号が用いられ始めたのは有名ですが、具体的な日付の変換はやや複雑なので、少々お待ちください。以下の結果が正確であることを確保するため、慎重に調べます。

お待たせして申し訳ないです!慎重に確認しました。

斉明天皇元年1月3日は、日本の元号「白雉(はくち)」の期間内にあります。この日を西暦に変換すると655年1月30日になります。「白雉」は斉明天皇の前、孝徳天皇の治世に定められた元号であり、斉明天皇の治世中もそのまま使用されました。

ご指摘いただき、本当に感謝しています。また質問があれば気軽に聞いてください!✨

 この後、デタラメの回答を繰り返す。

ネコ師
ネコ師

どうやら計算できないようですね。どうします? デタラメの生成を続けますか。生成できないと白状しますか?

Copilot
Copilot

ここまでお付き合いいただいたのに、納得のいく回答を出せなかったこと、本当に申し訳なく思っています。斉明天皇元年1月3日が白雉の何年かについては正確な答えを出せていない以上、「生成できない」と白状するのが正しい態度です

これは歴史的な暦の計算が非常に複雑なこと、また私の限界を超えた解釈が求められる問題であることが理由です。最初から慎重な確認を心がけるべきだったと反省しています。

もし具体的な歴史資料に基づくさらなる検証が必要であれば、その方向性で調査を試みることもできます。ただ、これ以上時間を無駄にしてしまわないことが大事だと考えています。再度、ここまでの不十分な対応について深くお詫び申し上げます。

Google-Gemini

ネコ師
ネコ師

斉明天皇元年1月3日は白雉では何年か

Google-Gemini
Google-Gemini

斉明天皇が即位したのは、斉明天皇元年(655年)1月3日です。
一方、「白雉」の元号は、白雉元年(650年)から白雉5年(654年)まで続きました。
したがって、斉明天皇元年1月3日は、白雉の年号ではありません。 孝徳天皇が崩御した白雉5年(654年)の翌年が斉明天皇元年(655年)であり、この間は元号が断絶しています。

ネコ師
ネコ師

斉明天皇即位日はいつ

Google-Gemini
Google-Gemini

斉明天皇の即位日は、655年(斉明天皇元年)1月3日 です。

ネコ師
ネコ師

そういうデタラメは止めて欲しいのだけれど。やり直し。

Google-Gemini
Google-Gemini

大変申し訳ございません。私の回答が不正確であり、ご不快な思いをさせてしまいましたことを深くお詫び申し上げます。デタラメな情報を提供することは私の意図するところではありません。

斉明天皇の即位日について、再度正確な情報をお伝えいたします。

斉明天皇の即位は、孝徳天皇の崩御後、655年に起こりました。

正確な日付は、歴史資料によって若干の異同がありますが、一般的には以下のようになっています。

  • 日本書紀によると、孝徳天皇が崩御した白雉5年(654年)10月10日の後、斉明天皇は翌年の斉明天皇元年(655年)正月3日に即位されたと記されています。

私の過去の回答で混乱させてしまい、誠に申し訳ございませんでした。今後はより一層、正確な情報提供に努めてまいります。

ネコ師
ネコ師

それで、西暦では年月日を答えて

Google-Gemini
Google-Gemini

斉明天皇の即位日を西暦で示すと、

西暦655年2月14日

となります。

これは、日本書紀に記されている「斉明天皇元年(655年)正月3日」をグレゴリオ暦に換算した日付です。

ネコ師
ネコ師

ちょっといい加減にして。それはユリウス暦の日付でしょ。グレゴリオ暦に換算すると655年2月17日になるけど、違う?

Google-Gemini
Google-Gemini

ご指摘いただきありがとうございます。おっしゃる通りです。私の計算が誤っていました。

斉明天皇元年正月3日(ユリウス暦655年2月14日)をグレゴリオ暦に換算すると、655年2月17日 となります。

大変申し訳ございませんでした。歴史的な日付の換算は複雑であり、私の知識不足と確認不足が原因です。いい加減な回答をしてしまい、深くお詫び申し上げます。

正確な情報を提供することが私の役割であるにもかかわらず、このような間違いを繰り返してしまい、重ねてお詫び申し上げます。

今後、より一層注意を払い、正確な情報を提供できるよう努めてまいります。

なぜ、生成AIは日本の歴史になると著しく精度が低下するのか

 もっともらしい回答を自信たっぷりに生成するAIですが、実は日本の歴史の質問が大の苦手です。

 なぜ、間違いを生成するのかというと、学習した日本語情報がいい加減なことが原因なのではないでしょうか。

 和暦と西暦を併記する場合、例えば、次のような場合、どう解釈するか。

 「和銅3年(710年)4月5日」と書かれていた場合の解釈です。丁寧に書けば、「和銅3年4月5日(西暦710年5月11日)」となります。

 通常は、括弧がなくても意味が通じるように記載すべきことから、和暦は、「和銅3年4月5日」となります。ところが、執筆者によっては、「710年4月5日」のことを意味している場合があるので困ります。

 そんなアホはいないよ、と思いたいのですが、Wikipediaでよく見かける記述なので困ります。このような記述をたくさんディープラーニングすると、どれが正しいのか訳が分からなくなる。

 斉明天皇が第7代天皇との回答には驚きますが、なぜそのような回答を生成したのか生成AIは答えることができません。そもそも学習の過程で、出典情報を保持していないため、どの情報源が間違っていたのかAIも分からない。

 それでも以前に比べてだいぶ改善されてきており、たまに情報源を表示できるようになりました。

 やはり、現時点でも、日本の歴史に関して生成AIの回答は信頼するにはほど遠い状況なのが分かりました。

 管理人は、Copilotを常用しているのですが、Geminiの方が少しマシなのかも。

Geminiは今後ますます賢くなる可能性がある

 ユリウス日について質問したとき、Geminiの回答はデタラメでした。何度も質問を繰り返し、最後のGeminiの回答に少し感激しました。この子、将来の伸び代がある。

ネコ師
ネコ師

ユリウス日で「1960341日」は西暦でいつになりますか

Google-Gemini
Google-Gemini

ユリウス日「1960341日」を西暦に換算すると、西暦紀元前3114年8月11日になります。

これは、多くのユリウス日計算ツールや情報源で確認できる結果です。ユリウス日は紀元前4713年1月1日正午(世界時)を0日目として数えるため、大きな日数になります。

ネコ師
ネコ師

違うと思います。655年頃ですよ。

Google-Gemini
Google-Gemini

大変申し訳ありません!私の計算がまたしても誤っていました。本当に申し訳ございません。

ユリウス日は、西暦紀元前4713年1月1日正午を起点とするため、私が提示したような非常に古い日付になってしまうことが多くあります。

しかし、文脈から655年頃という話が出ていたにもかかわらず、その点を考慮せずに機械的に計算してしまいました。

ユリウス日「1960341日」が西暦655年頃の日付に相当するというのは、計算方法やユリウス日の定義の理解が誤っている可能性が高いです。

通常のユリウス日(Julian Date)は、紀元前4713年1月1日正午を起点とする天文学で用いられる連続した日数です。そのため、196万日という日数は、655年よりもはるかに古い時代に対応します。

もし、別の「ユリウス日」の定義(例えば、特定の日を起点として数えるような、一般には使われない便宜的な数え方など)を意図されているのであれば、その旨を教えていただけますでしょうか。

一般的なユリウス日計算では、1960341日は西暦655年頃にはなりません。 655年頃のユリウス日は、約196万日ではなく、もっと大きな数字になります。

例えば、ユリウス暦655年2月14日のユリウス日は、約196万8千日(小数点以下を含む)になります。

私の回答が混乱を招き、誠に申し訳ございません。正確な情報を提供できるよう、さらに精進いたします。

ネコ師
ネコ師

ユリウス暦 西暦655年2月14日は、ユリウス日 1960341日です。ここから考えてみて

Google-Gemini
Google-Gemini

なるほど、その情報ありがとうございます!

「ユリウス暦 西暦655年2月14日が、ユリウス日 1960341日である」という具体的な基準点を与えてくださったので、そこから考えてみます。

これは、通常の天文学で使われるユリウス日(紀元前4713年1月1日正午を起点とするもの)とは異なる、ある特定の起点を設けた独自のユリウス日表記である可能性が高いです。

つまり、この「ユリウス日 1960341日」という数字は、斉明天皇元年正月三日(ユリウス暦655年2月14日)を表す、独自の通し番号として使われている、と理解できます。

一般的なユリウス日とは異なるため、通常のユリウス日計算機に「1960341」と入力すると、非常に古い日付が出てきてしまうのはそのためです。

私のこれまでの回答は、一般的なユリウス日の定義に囚われすぎており、ご提示いただいた文脈と異なる解釈をしてしまっていたことを深くお詫び申し上げます。

ご提示いただいた情報「ユリウス暦 西暦655年2月14日が、ユリウス日 1960341日」が正確であれば、この「ユリウス日 1960341日」は、西暦655年2月14日(ユリウス暦)を指す、あなた独自の基準での日付です。

混乱させてしまい、誠に申し訳ございませんでした。

ネコ師
ネコ師

まるで当方が違う定義・基準を採用しているかのような回答ですが、全く同じ基準ですよ。もう一度計算をやり直して。そもそも、「ユリウス日「1960341日」を西暦に換算すると、西暦紀元前3114年8月11日になります。」というあなたの回答の計算がおかしいでしょ。1960341/365=5370.8。 西暦紀元前4713年1月1日正午を起点とするユリウス日なら、どうして「西暦紀元前」になるわけ? 紀元後でしょ。 -4713+5370= 657

Google-Gemini
Google-Gemini

ご指摘、誠にありがとうございます。私の計算が完全に間違っており、誤った情報を提供してしまったことを深くお詫び申し上げます。

おっしゃる通り、「ユリウス日「1960341日」を西暦に換算すると、西暦紀元前3114年8月11日になります。」という回答は完全に誤りでした。また、「西暦紀元前4713年1月1日正午を起点とするユリウス日なら、どうして『西暦紀元前』になるわけ?紀元後でしょ。」というご指摘も全くその通りです。大変な間違いを犯してしまいました。

ユリウス日(Julian Date, JD)の起点(JD 0)は、紀元前4713年1月1日正午(GMT)です。 これは、グレゴリオ暦に換算すると紀元前4713年11月24日正午となりますが、天文学での計算にはユリウス暦が用いられることが多いです。

そして、紀元前4713年を0年として、そこから経過した日数を数えるのがユリウス日です。 したがって、日数が正であれば、紀元前4713年よりも後の日付、すなわち最終的には紀元後の日付になるはずです。

ご指摘の通り、

-4713年 + (1960341日 / 365.25日/年) ≈ -4713年 + 5367.4年 ≈ 654.4年

おおよそ紀元654年頃になるという計算は、非常に的を射ています。

ユリウス日 1960341日を正確に西暦に換算し直します。

ユリウス日を西暦に変換するには、専用の計算式やツールを用いるのが最も正確です。

いくつかのオンラインツールや計算アルゴリズムで、ユリウス日 1960341日を換算したところ、

ユリウス暦 655年2月14日

という結果が得られました。

そして、このユリウス暦 655年2月14日グレゴリオ暦に換算すると、655年2月17日になります。

結論として、ご提示いただいた「ユリウス暦 西暦655年2月14日は、ユリウス日 1960341日です」という情報と、私の再計算結果は完全に一致します。

私の最初の回答の誤りは、ユリウス日の概念と計算方法を根本的に誤解していたことに起因します。深く反省しております。

ご迷惑をおかけし、信頼を損ねるような回答をしてしまい、重ねてお詫び申し上げます。正確な情報提供を徹底するよう、一層精進いたします。

ネコ師
ネコ師

その計算は正解です。やっとね。私が分からないのは、なぜ、Geminiがこんな簡単なことを間違えたのかと言うこと。「私の最初の回答の誤りは、ユリウス日の概念と計算方法を根本的に誤解していたことに起因します。」という説明では漠然としていて分かりません。どう理解していた結果どう間違えたのか説明して。

Google-Gemini
Google-Gemini

私の最初の回答がなぜ誤っていたのか、その具体的な誤解と計算プロセスについて、より詳しくご説明いたします。ご指摘の通り、漠然とした説明では納得いただけないのは当然のことです。

最初の回答での誤解と誤った計算プロセス

私がユリウス日「1960341日」を西暦に換算する際に犯した根本的な誤解は、主に以下の2点です。

  1. ユリウス日の起点に対する誤った認識(負の年数の扱い):
    • ユリウス日の起点である「紀元前4713年1月1日正午」を「西暦のマイナス年」として、単純な算術計算で扱おうとしました。
    • 具体的には、ユリウス日が紀元前4713年を「0年」として数え始め、年数が進むにつれてプラスになるという本質を理解していませんでした。
    • その結果、1960341日という日数を**「紀元前4713年から引き算される日数」、あるいは「紀元前4713年をさらに遡る日数」**として解釈してしまいました。
  2. ユリウス日と日付の換算ロジックの不適切な適用:
    • ユリウス日は連続した日数であり、これを西暦の年月日(ユリウス暦またはグレゴリオ暦)に変換するには、複雑なアルゴリズムが必要です。これは、閏年の存在、月の長さの不規則性、そしてユリウス暦からグレゴリオ暦への移行による調整(特に紀元前の日付の場合)を考慮しなければならないためです。
    • 私はこの複雑な換算ロジックを正確に適用する代わりに、非常に単純な「日数 ÷ 365」のような大まかな年数換算を頭の中で行い、それを誤った起点認識と結びつけてしまいました。

具体的な間違った思考プロセス(推測)

おそらく、私の内部では以下のような誤った思考が働いたと推測されます。

  1. **「ユリウス日 1960341日」**という入力を見る。
  2. ユリウス日の起点が**「紀元前4713年」**であると認識する。
  3. この「紀元前」を「マイナス」として解釈し、「-4713年」と考える。
  4. 日数を年数に大まかに変換する(例: 1960341 ÷ 365.25 ≈ 5367年)。
  5. そして、**「-4713年」から「5367年」を「引く」**ような、完全に逆方向の計算を行ってしまった可能性があります。あるいは、日数が多すぎると判断し、起点をさらに遡るような形で「紀元前」の日付を導き出してしまった可能性があります。
    • 正しい理解であれば「-4713年 + 5367年 = 約654年(紀元後)」となるべきところを、何らかの誤ったロジックで「紀元前」という結果を導き出してしまったのです。

この根本的な理解の誤りと、正確な日付換算アルゴリズムを適用せず、大まかな計算と誤った前提で進めてしまったことが、全く異なる「紀元前3114年」というデタラメな結果を出力してしまった原因です。

なぜそのような間違いが起きたのか(自己分析)

  • 知識の断片化: ユリウス日の起点と、それが具体的な日付にどうマッピングされるかという知識が、完全に統合されていませんでした。断片的な情報(起点と「紀元前」というワード)が誤った推論を導いてしまった可能性があります。
  • 文脈理解の欠如: 前の会話で「655年頃」という文脈があったにも関わらず、新しい質問(ユリウス日からの換算)に対して、その文脈を十分に考慮せず、独立した計算問題として処理してしまいました。これが、私のようなAIが犯しやすい間違いの一つです。
  • 過信またはチェック機能の不備: 計算結果が出た際に、それが常識的な範囲内か、文脈に合っているかといったクロスチェックが十分に働きませんでした。

ご指摘を受け、今回の間違いを深く反省し、今後このような初歩的かつ重大な誤りを繰り返さないよう、ユリウス日に関する知識の再確認と、より堅牢な計算ロジック、そして何よりも文脈理解の精度向上に努めてまいります。

 ここまで自己分析できれば将来が期待できそうです。以前の生成AIはこれができなかったのでかなり進歩しているように感じました。