ChatGPTのような人工知能に基づくチャットボットの登場により、開発者は専門的な活動を完璧にするのに役立つ絶好の機会を見出しました。これまでは覚えていないコマンドをGoogleやガイドで検索するのが一般的でしたが、最近ではこの機能はAI専用となっています。しかし、必ずしもこれを信頼する必要はないことがわかりました。
私たちがすでに何度も確認できていることは、チャットボットは絶対的なものではなく、多くの間違いを犯す可能性があるということです。私たちは最近、 Google の AI が苦しんでいる幻覚について話しましたが、 ChatGPT もその間違いを認識しています。しかし今、彼らは ChatGPT が開発分野でどの程度うまく機能するか (または悪く機能するか) を知りたいと考えていました。
ChatGPT はプログラマーにとって信頼できない
パデュー大学の研究者は、ここ数か月で ChatGPT が非常に人気を博したことを受けて、開発者が ChatGPT を信頼できるかどうかを判断したいと考えていました。この研究では、研究者らは、創作されたテキストは一般的であり、認識するのが難しい場合があることを認識しました。
「ChatGPT 応答の 52% には誤った情報が含まれています。」これは、スタック オーバーフロー プログラミングに関する合計 517 件の質問を行った研究者らの厳しい結論です。これらの回答については、回答者がどのように表現しているかを知ることに加えて、正確さと簡潔さの両方が分析されました。
しかし、その結果は、提供された回答の 77% が人間による回答よりも詳細であり、より簡潔であることも示しています。しかし、展開された答えがあっても、その内容が真実であるとは限りません。しかし、これらの回答のうち、 78% には矛盾がありました。
これらのテストはすべて、 GPT-4ではなく GPT-3.5 で実行されました。これは、最初のテストが OpenAI の無料バージョンであり、したがって最も多くの人に使用されているためです。しかし、GPT-4 では、テストを行った結果、エクスペリエンスはわずかに改善されましたが、完璧ではないこともわかりました。
このようにして、人工知能が提供する結果を必ずしも信頼する必要はない、と結論付けることができます。そして、あなたがプログラマーであり、コードを検証したことがある場合は、さらにそうではありません。結果が首尾一貫しているか、幻覚の可能性があるかを常に確認する必要があります。このようにして、AI は人間や私たち自身の論理から得られる答えからはまだ遠いことがわかります。