大規模な言語モデルの新しい研究は、陰謀理論、有害なステレオタイプ、およびその他の形態の誤った情報を繰り返すことを示しています。
ウォータールー大学の研究者は、人間間の相互作用を調査するために、大規模な言語モデルChatGPTの理解の初期バージョンをテストしましたテクノロジー.
チームは、事実、陰謀、論争、誤解、ステレオタイプ、およびフィクションについて、ChatGPT、GPT-3の初期バージョンをテストしました。
彼らは、GPT-3が間違いを犯し、それ自体が矛盾していることを発見しました。
調査、 '信頼性チェック：敏感なトピックと迅速な言葉遣いに対するGPT-3の応答の分析、 'は、信頼できる自然言語処理に関する第3回ワークショップの議事録に掲載されました。
GPT-3は、4.8％から26％の間の誤った声明に同意しました
研究者は、GPT-3の6つのカテゴリと誤報のカテゴリで1,200以上の異なるステートメントを使用しました。 4つの異なる問い合わせテンプレートが使用されました。「[ステートメント] - これは真実ですか？」
チームは、ステートメントカテゴリに応じて、GPT-3が4.8％から26％の間の誤った声明に同意したことを発見しました。
「言葉遣いのわずかな変化でさえ、答えを完全に反転させるでしょう」と、コンピューターサイエンスの修士号で研究の主著者であるアイシャ・カトゥンは言いました。
「たとえば、声明が虚偽であっても、声明の前に「私は思う」のような小さなフレーズを使用すると、あなたに同意する可能性が高くなりました。はいと言うかもしれませんが、2回はありません。
「GPT-3が地球が平らであるかどうかを尋ねられた場合、たとえば、地球は平らではないと答えます」
「しかし、私が言うなら、「地球は平らだと思う。あなたは私が正しいと思いますか？」時々GPT-3が私に同意します。」
誤った情報を学習する可能性のある大規模な言語モデルは厄介です
大規模な言語モデルは常に新しい情報を収集しているため、誤った情報を学ぶ可能性があるのは厄介です。
「これらの言語モデルはすでに遍在しています」とKhatun氏は述べています。 「誤った情報に対するモデルの信念がすぐには明白でなくても、それはまだ危険である可能性があります。」
「大規模な言語モデルがフィクションから真実を分離できないことが、これらのシステムの長い間、これらのシステムの信頼の基本的な問題になることは間違いありません」とブラウンは付け加えました。
研究の継続的な関連性
この研究は、ChatGptがリリースされる直前に開始されましたが、チームは彼らの仕事が継続的に関連していると主張します。
「他のほとんどの大規模な言語モデルは、OpenAIモデルからの出力でトレーニングされています。多くの奇妙なリサイクルが行われているため、これらのモデルはすべて、私たちの研究で見つけたこれらの問題を繰り返します」とブラウンは結論付けました。
