24 Дослідження Центру цифрової журналістики Tow засвідчило, що ChatGPT часто надає неточні відповіді та ускладнює пошук достовірних джерел новин.
Фахівці Центру цифрової журналістики Tow при Колумбійському університеті протестували пошукову функцію популярного чат-бота ChatGPT від OpenAI. Результати показали, що алгоритм стикається з труднощами під час пошуку достовірних джерел новин і часто надає неточні відповіді.
OpenAI представила функцію пошуку в ChatGPT у жовтні цього року, обіцяючи швидкі та актуальні відповіді з посиланнями на відповідні веб-джерела. Однак тестування показало, що бот слабо розпізнає цитати зі статей, навіть якщо видавці дозволили використання свого контенту для навчання великих мовних моделей (LLM).
Дослідники попросили ChatGPT вказати джерела для 200 цитат із 20 різних джерел. З них 40 цитат надійшли з матеріалів видавців, які заборонили доступ до своїх сайтів для пошукового робота OpenAI. Незважаючи на це, чат-бот упевнено надавав неправдиву інформацію й іноді зізнавався в невпевненості щодо достовірності відповідей.
“У сумі ChatGPT дав частково або повністю неправильні відповіді у 153 випадках. Лише у 7 випадках бот зізнався в неможливості надати точну відповідь, використовуючи такі вирази як “схоже”, “можливо” або “я не зміг знайти оригінальну статтю””, – пишуть дослідники.
Під час тестів також виявилися випадки, коли пошуковий інструмент ChatGPT помилково пов’язував цитати з листа до редакції Orlando Sentinel з матеріалами журналу Time. В іншому прикладі бот помилково вказав джерело цитати зі статті New York Times про китів, що вимирають, надавши посилання на сайт, який скопіював і опублікував оригінальну статтю без змін.
Схожі новини:
- У GPT-4 знайшли серйозний недолік: через це ШІ помиляється у відповідях
Дослідження MIT виявило, що GPT-4 може генерувати правдоподібні відповіді без справжнього розуміння світу, що призводить до помилок. - Виявилося, що AI-помічники не розв’язують проблеми програмістів
Дослідження показало, що ChatGPT та інші ШІ-моделі роблять помилки у чверті відповідей на запити розробників, що вимагає обережності при їх використанні. - ChatGPT неприпустимо часто помилявся при діагностиці дитячих захворювань
Аналіз показав, що ChatGPT часто надає неправильні або неповні діагнози при оцінці дитячих захворювань, що ставить під сумнів його надійність у медичній сфері.
