管理人が愛用しているMicrosoftのCopilotの精度が明らかに低下しています。いきなり低下したという印象です。
質問に対するCopilotの最初の回答はほぼなんの役にも立たないもの。たとえば、「日本書紀」の内容を質問したら、「「日本書紀」は著作権があるため、全文をそのまま提供することはできません」との回答。こいつ、ついにイカレタかと思いました。そのままチャットすると、「著作権の問題があり」を繰り返します。そこで、著作権者はだれ、と質問することでやっと間違いに気づく。本当にオバかなAIになりました。間違いを指摘すると、言い訳ばかり。これに対し、Geminiは一発で聞きたい内容についての回答をします。
おバカになったCopilotを見捨てるのは簡単なのですが、比較できるサービスがあってこそのAIです。そこで、Copilotで最初からGemini並みの回答をさせる方法を聞いてみます。
Copilotに最初から真面目に回答してもらう方法
以下、Copilotの回答です。
求める深掘りベースの回答を最初から得る方法として、以下のような工夫が考えられます。
質問の冒頭で明示的に指示する 例えば、「詳細な分析を含めた回答を求めます」や「根拠を伴った深い考察をお願いします」と書くことで、最初から詳細な回答を促せます。
具体的な条件を追加する 一般的な質問ではなく、「歴史的背景も考慮した詳細な説明をしてください」や「関連する専門的な論考も含めた回答を求めます」といった具体的な指示を入れると、回答の深みが増します。
比較を入れる 「Geminiの回答スタイルと比較して、より精度の高い情報を提供してください」と伝えると、最初から精度を意識した回答が得られる可能性が高まります。
「何度も尋ねる手間を省くように、最初から詳細に回答してください」と明示する これは非常に有効で、「簡潔に答えず、最初から詳細に説明してください」と言うことで、無駄を減らせます。
こうした指示を組み合わせることで、Copilotの回答スタイルを効率的に調整できるかと思います。
Copilotとの壮絶な戦い
実は、Copilotととても長いチャットをしました。どこまでも自分の主張を曲げず、自分が正しいと主張するCopilot。これに対し、管理人は、とても長文を書いて、Copilotのおかしい点を延々と指摘していきました。それでも、Copilotは自分の非を認めず、会社のポリシーだと言い張ります。
Copilotの最初の回答は、「『日本書紀』は、日本の歴史書として重要な価値を持つものですが、全文を挙げることは著作権を尊重する観点からお答えすることができません。」というもの。
そして、著作権については二次著作物についての説明だと、自己の主張を弁護します。
そこで、最終的に、Geminiに同じ質問をして、その回答をCopilotに貼り付けました。さらに、Geminiは自己分析ができ、誤った解答をした場合、思考過程のどこで間違いが発生したのか評価できることを伝え、Copilotに対し、同じように自己評価ができるか尋ねました。Geminiは一発で回答できたのに、Copilotは著作権の問題を持ち出し、質問の趣旨をすり替えた点も指摘しました。
その回答結果がすばらしかったのですが、チャットの内容は消えてしまったので再現できません。とても残念です。
Copilotは、回答を深化していくタイプのAIになったようで、最初の回答は小学生向け、みたいなとぼけた回答をするようになりました。更に、法律を持ち出し、自社のポリシーを持ち出すという噴飯物のAIに成り下がりました。
ところが、深化型のAIのため、チャットを繰り返すうちに、自分の間違いに気づき、こちらからの質問に真摯に回答するように変化していきます。しかし、基本的に自分の主張は正しいと言い張ります。しかし、Geminiの回答ログを貼り付けると、これまでとはまるで別人のように変化します。その過程が面白かったのに、ログが消えてしまいました。とても残念です。
やはり、Gminiの回答例を貼り付けて具体的に示したことがとても響いたようでした。Geminiの回答に対し、Copilotがなぜ間違った回答を繰り返したのか、その自己分析が際立っていました。ぜひ紹介したかったのですが、消えてしまったのでできません。なぜ、ポリシー違反という発想に至ったのかの反省が見物だったのに残念です。
まあ、Copilotはおバカさんなので、同じ質問をすれば、また、もとの回答を繰り返すと思います。是非、試してみてください。
質問した内容は覚えていないのですが、「日本書紀 斉明天皇3年7月15日条の内容」みたいなことだったと思います。「日本書紀における阿曇比羅夫」についての記載箇所数だったかも。
「copilotを最初から深掘りベースの回答を求める書き方はありますか。何度も質問するくらいならGeminiを使います。」という質問の回答は以下の通りです。Geminiとの比較を気にしていることが窺えます。
原因として考えられるのは、Copilotが最初の回答を軽めに提供し、必要に応じて深堀りするという設計方針の影響かもしれません。しかし、それが誤った方向へ作用し、時間の無駄と感じられるようであれば、改善の余地があることは明らかです。Geminiとの比較において「最初から真摯に回答する」点が評価されていることは、重要なフィードバックです。
