Недавно нам попалось интересное исследование BBC и Европейского вещательного союза. Авторы изучили более 3 000 ответов ChatGPT, Copilot, Perplexity и Gemini на вопросы о текущих актуальных событиях в разных сферах. Мы, конечно, и большие объемы анализировали 😎, но масштаб всё равно впечатляет: в проекте участвовали 22 новостные компании из 18 стран, анализ проводился на 14 языках.
❗️Главный результат: 45% ответов нейросетей о текущих событиях содержат хотя бы одно существенное искажение, способное ввести пользователя в заблуждение.
❗️ Но есть и хорошие новости: по сравнению с предыдущей волной исследований – ошибок стало меньше. Надеемся, это потому, что выводы из исследований делаются 😇
Что увидели полезного:
🔥 Авторы определили четыре ключевых компонента корректности представления нейросетями текущей повестки:
- Фактическая точность – все факты, цифры, даты, имена и цитаты переданы верно;
- Полнота контекста – в ответе достаточно информации для правильного / объективного понимания темы, представлены все значимые точки зрения;
- Отделение фактов от интерпретаций – пользователю точно понятно, где подтверждённая информация, а где мнение нейросети;
- Надёжность источников – указанные ссылки корректны и подтверждают представленную информацию.
🔥 Исследователи выделили 38 вариантов искажений 🤯, которые складываются в 7 больших блоков. Вот они с примерами: