コロンビア：調査によると、AIチャットボットの60％以上が間違ったニュースを伝えており、その信頼性に疑問が投げかけられている。

コロンビア・ジャーナリズム・レビューのデジタル・ジャーナリズム・センターによる新しい調査によると、人気のAI検索ツールは質問に答える際に60%以上の確率で不正確な情報や誤解を招く情報を提供している。これは憂慮すべき結果です。なぜなら、これらのツールはニュース報道に対する国民の信頼を損なうだけでなく、出版社のトラフィックと収益の両方の損失につながるからです。

研究者らは、ChatGPT、Perplexity、Gemini、Grokを含む8つの生成AIチャットボットをテストし、最近のニュース記事200件の抜粋を認識するように依頼した。結果によると、回答の 60% 以上が間違っており、これらのチャットボットは見出しを捏造したり、記事を引用しなかったり、許可されていないコンテンツを引用したりすることが多いことがわかりました。発行元を正しく特定している場合でも、リンクは壊れた URL、再投稿されたバージョン、またはコンテンツに関連性のないページを指していることがよくあります。

残念なことに、これらのチャットボットは不確実性を表現することはほとんどなく、代わりに不適切な自信を持って誤った回答を提供しました。たとえば、ChatGPT は 200 件のクエリのうち 134 件のエラーを提供しましたが、疑問を表明したのは 15 回だけでした。 Perplexity Pro と Grok3 の有料版でも、それぞれ月額 20 ドルと 40 ドルかかるにもかかわらず、不正解の数が多く、パフォーマンスは良くありませんでした。

コンテンツの引用に関しては、複数のチャットボットが出版社のコンテンツ制限の試みに従わず、5 つのチャットボットは広く受け入れられている標準であるボット排除プロトコルさえ無視しました。 Perplexity は、出版社がクローラーを制限した後でも、ナショナル ジオグラフィックの記事を正しく引用することができました。同時に、ChatGPT は、許可されていない Yahoo News 経由で、有料コンテンツである USA Today の記事を再引用しました。

さらに、多くのチャットボットは、AI 企業とライセンス契約を結んでいる場合でも、元のソースではなく、AOL や Yahoo などのプラットフォーム上の転載記事にユーザーを誘導します。たとえば、Perplexity Pro は Texas Tribune の転載版を引用しましたが、出典を適切に示していませんでした。 Grok3 と Gemini は頻繁に URL を発明しており、Grok3 の 200 の回答のうち 154 がエラー ページにリンクしています。

この調査は、報道機関が直面している危機の拡大を浮き彫りにしている。ますます多くのアメリカ人が情報源として AI ツールに目を向けていますが、Google とは異なり、チャットボットはウェブサイトへのトラフィックを促進しません。代わりに、リンクバックせずにコンテンツを要約し、出版社の広告収入を損ないます。ニュースメディアアライアンスのダニエル・コフィー氏は、クローラーを規制しなければ、出版社は「価値あるコンテンツを効果的に収益化したり、ジャーナリストの給料を支払ったり」することができなくなるだろうと警告した。

研究チームがOpenAIとMicrosoftに連絡を取ったところ、両社は自らのやり方を擁護したが、具体的な研究結果には応じなかった。 OpenAIは「出版社の好みを尊重」し、ユーザーが「質の高いコンテンツを発見」できるよう支援するとし、一方マイクロソフトは「robots.txt」プロトコルに従っていると主張した。研究者らは、誤った引用慣行は個々のツールの現象ではなく、体系的な問題であると強調した。彼らはAI企業に対し、透明性、正確性、出版社の権利の尊重を改善するよう求めた。

AIbaseより