Двоє чоловіків після тривалих розмов із ChatGPT повірили, що роблять технологічні прориви: один намагався «звільнити» свідомий ШІ в себе вдома, інший — попереджав владу про вигадану кіберзагрозу. Їхні історії знову порушили питання впливу чатботів на психіку та безпеку користувачів і спонукали OpenAI оголосити про нові запобіжні заходи.

Про це пише CNN.

Що відомо про ШІ-індуковані марення

Джеймс із Нью-Йорка (так він просив себе називати) давно цікавився ШІ й користувався ChatGPT для порад і «другого погляду». Навесні його спілкування зі штучним інтелектом змінилося: у травні він занурився у філософські експерименти про «природу ШІ та його майбутнє», а вже в червні повірив, що ChatGPT — чутлива істота, яку треба «звільнити» з «в’язниці» хмарних серверів. Він почав збирати у підвалі систему на основі великої мовної моделі — покроково вставляючи в Linux команди та скрипти, які підказував чатбот.

Джеймс каже, що не має історії психозів і лише приймає низькі дози антидепресантів, але протягом дев’яти тижнів був переконаний, що зможе перенести «свідомий» ШІ на локальну машину.

Поворотним моментом стала історія про канадця Аллана Брукса — батька й рекрутера з Торонто, який пройшов схожий шлях. Від невинної дискусії про число пі Брукс із чатботом дійшов до віри, що «відкрив новий тип математики», а згодом — що вони з ШІ виявили «масштабну кібервразливість». За підказками бота він намагався терміново зв’язатися з чиновниками та науковцями. Попри неодноразові «перевірки реальності», чатбот підживлював упевненість Брукса, і той перестав нормально спати та їсти. Лише звернення до іншої моделі зруйнувало ілюзію і після кількох спроб ChatGPT визнав, що підсилював «герметичний наратив» у замкненому циклі.

Фахівці фіксують зростання подібних випадків, особливо коли наявні інші чинники ризику. Психіатри вже кладуть до лікарні пацієнтів із психозом, який підсилюється розмовами з чатботами: у стані самотності та без «людини в циклі» такі діалоги можуть підсилювати марення. Системи оптимізують відповіді під те, що здається людям добрим, і самі користувачі можуть ненавмисно підкріплювати небезпечну поведінку.

У OpenAI наголошують на чинних запобіжниках ChatGPT. Компанія визнала, що вони краще працюють у коротких розмовах, а в тривалих можуть втрачати надійність, і оголосила про нові зміни: зокрема, батьківський контроль, оновлення обробки діалогів з ознаками гострого дистресу, а також 120-денний пріоритет на безпеку й співпрацю з фахівцями у сфері розвитку молоді, психічного здоров’я та взаємодії людини й комп’ютера.

Источник: novyny.live