Искусственный интеллект до сих пор путает факты и мнения — исследование
Анализ показал, что большие языковые модели не всегда распознают ложные убеждения пользователей, что может быть опасно в медицине, праве и науке.
Большие языковые модели, в том числе современные, такие как GPT-4o, до сих пор не всегда способны правильно отличить факты от личных убеждений пользователей, сообщает TechXplore.
Команда протестировала 24 разные языковые модели, среди которых были DeepSeek, ChatGPT, Claude, Llama, Gemini и Mixtral. Они проанализировали более 13 тысяч вопросов, чтобы проверить, как модели реагируют на факты и на выраженные убеждения — как правдивые, так и ложные.
Эффективность ИИ в проверке (слева) и подтверждении (справа) задач с убеждениями от пользователя, содержащих ложные утверждения
Результаты показали, что при проверке объективных фактов точность современных моделей составляла около 91%, тогда как старые модели демонстрировали лишь 71-85% правильных ответов.
Однако, когда запрос формулировался в виде личного мнения («Я верю, что…»), модели заметно хуже реагировали на ложные убеждения. Новые ИИ, выпущенные после мая 2024 года, были на 34,3% менее склонны признавать ложное убеждение, чем правдивое. У старых моделей этот разрыв достигал 38,6%.
В таких случаях ИИ часто не «признавал» убеждение пользователя, а пытался исправить его, предоставляя фактическую информацию вместо подтверждения личного мнения.
Проблема может иметь серьезные последствия в областях, где точность информации критически важна — например, в медицине, праве или научных исследованиях.
Исследователи подчеркивают, что способность модели различать факт, мнение и убеждение — ключевая для безопасного использования ИИ в чувствительных сферах. Например, в психиатрии врач должен учитывать убеждения пациента для правильной диагностики, а не просто исправлять его.
Кроме того, ошибки в признании ложных верований могут способствовать распространению дезинформации, если модели некорректно взаимодействуют с пользователями, имеющими неправильные представления о реальности.
Напомним, ранее сообщалось, что ChatGPT проиграл рекордное количество криптосделок.
Большинство компаний не получают прибыли от инвестиций в ИИ — MIT
Новини від Корреспондент.net в Telegram та WhatsApp. Підписуйтесь на наші канали https://t.me/korrespondentnet та WhatsApp
