Наприкінці липня 2024 року OpenAI запустила голосовий режим для чат-бота ChatGPT. В аналізі безпеки компанія визнає, що людиноподібний голос може спокусити деяких користувачів емоційно прив’язатися до чат-бота.

Про це пише Wired.

Компанія внесла цей фактор в «системну карту» для GPT-4o як потенційний ризик, пов’язаний з моделлю. Коли OpenAI вперше представила голосовий режим чат-бота, багато хто зазначав, що на демонстрації він звучав надто кокетливим. Пізніше компанія зіткнулася з критикою з боку актриси Скарлетт Йоганссон, яка звинуватила розробників у копіюванні її голосу та манери спілкування.

Розділ системної картки під назвою «Антропоморфізація та емоційна залежність» досліджує проблеми, які виникають, коли користувачі сприймають ШІ як людину. А голосовий режим, який намагається імітувати розмову з живою людиною, вочевидь, цьому дуже сприяє.

Наприклад, під час стрес-тестування GPT-4o дослідники OpenAI помітили випадки, коли користувачі говорили так, ніби відчували емоційний зв’язок з моделлю. Приміром, люди використовували такі фрази, як «Це наш останній день разом».

Антропоморфізм (наділення речей людськими ознаками) може змусити користувачів більше довіряти результатам роботи моделі. З часом це може навіть вплинути на стосунки користувачів з іншими людьми.

«Користувачі можуть формувати соціальні відносини зі штучним інтелектом, зменшуючи свою потребу у взаємодії з людьми, що потенційно може принести користь самотнім людям, але може негативно вплинути на здорові стосунки», – йдеться в документі.

Серед інших проблем, пов’язаних з голосовим режимом, – потенційно нові способи «джейлбрейку» моделі. Наприклад, голосового асистента можна змусити зімітувати чийсь голос.

Зламаний голосовий режим можна змусити видавати себе за іншу особу або навіть можна створити подобу поліграфа, попросивши модель розшифрувати емоції співрозмовника.

Голосовий режим також може некоректно працювати при наявності випадкових шумів, а в одному випадку тестувальники помітили, що чат-бот почав імітувати голос свого співрозмовника.

Ця проблема може стати більш поширеною, ніж вам здається. Деякі користувачі Character AI та Replika повідомляють, що стали менше потребувати соціальних контактів з людьми після початку користування чат-ботом. Деякі користувачі пишуть, що їм доводиться бути наодинці, щоб користуватися чат-ботом через інтимність їхньої взаємодії.

Источник: ua.news