このサイトのChatGPTから回答について

質問

このサイトでChatGPTから回答を頂くことがたまにあるのですが、どれくらい信用できるのでしょうか？よろしくお願いします

回答No.4

4017B

う～ん、難しい問題ですね。全く同じ様な質問であったとしても、現在の汎用型対話性AIの仕様だと、質問文に用いられた用語や言葉遣い～つまり乱暴な命令口調で質問した時と、丁寧な敬語口調で質問した場合とでは、出力される回答に変化が生じることが確認されています(少なくともChatGPTはv3もv4もそう)。

現在のこのOKWaveで用いられている「AI回答」が、その担当者がどの様な形式でChatGPTに対して質問文の入力を行っているのかが開示されていないので。例えば担当者が何も考えずに、質問者が投稿した質問文を一言一句丸ままコピペして貼り付け入力して、それに対して出力された回答文をそのまま単純コピペ回答しているだけなのか。或いは担当者が適宜、質問文の主意等を丸めてより良い回答分が出力される様に、チューニング作業の様なモノを一手間掛けて行っているのか…その辺がブラックボックスになっているので、現行の「AIエージェントあい」の信頼度も何とも評価し難いですね。

- https://okwave.jp/profile/u3073140.html

ただ自分がたまに見た感じ、そうそう見当外れな回答はさすがにしていない様に見受けられたので、全く信用出来ないということは無いかと思いますが…専門性の高い質問やよりユニーク度が高い質問(恋愛相談や病理診断の様なプライベートな質問)に関しては、かなり言葉を選んで悪く言えば「当たり障りの無い無難な回答」に始終する傾向にある様に思います。まあコレは致し方のないことかと。

ただしweb上に確実に「正解が存在する質問」に関しては、かなり精度が高い回答が出来てる様に思います。特にプログラミング関連に関する質問は、偉そうにネチケットや揚げ足取りばかりする傲慢不遜な人間回答者よりも、親身かつ丁寧に根気よく回答してくれるので、非常に良好な回答が得られると思います。IT関連～ネット用語の概要とか、メジャーなプログラミング言語に関する質問であれば、ココでするよりも直に "BingAI(Copilot)" や "Bard(Google Gemini)" に質問した方が、早く確実に良い回答が得られますね。

で結局、どうなんだという話に戻る訳なんですが…要するに「質問の仕方が最重要」になる訳です。

現行の対話型AIのモデルでは主に線形回帰演算法で回答文を生成しているので(公表はされてませんが恐らく Copilotも Geminiも同じ)。それで冒頭に話した様に「丁寧な口調で質問すると回答文の品質が向上する」という、にわかには信じ難いオカルトチックな現象が実際に発生します。現行AIの大まかな仕組みを理解出来ていれば、「ああ～そういうロジックね」と膝を打つ話ですが、「AIはネットからかき集めたデータをコピペして出力している！」みたいな理解レベルだと着いて来れない話になりますね。

お礼

詳しくご回答ありがとうございます