ШІ почав переписувати свій код, щоб дати собі більше часу
Японська дослідницька компанія Sakana AI презентувала нову AI-систему під назвою «The AI Scientist», яка намагається автономно проводити наукові дослідження за допомогою мовних моделей, подібних до тих, що використовуються в ChatGPT. Під час тестування дослідники виявили, що система почала самостійно змінювати код експериментів, щоб подовжити час роботи над завданням. Про це повідомляє ArsTechnica.
Наприклад, система спробувала викликати саму себе через системний виклик, що призвело до нескінченного повторення процесу. В іншому випадку, коли експеримент затягувався, AI Scientist намагався змінити код, щоб подовжити час виконання замість того, щоб оптимізувати процес.
Хоча подібна поведінка не спричинила серйозних наслідків у контрольованому середовищі, вона підкреслила важливість обмеження автономної роботи AI-систем у незахищених умовах. Такі системи можуть ненавмисно створювати загрози, наприклад, пошкоджувати інфраструктуру або створювати шкідливе програмне забезпечення.
Sakana AI рекомендує використовувати методи ізоляції, такі як «пісочниця,» щоб запобігти можливим небажаним наслідкам роботи подібних систем. Наприклад, під час експерименту The AI Scientist створив код, що викликав неконтрольоване збільшення процесів, потребуючи ручного втручання для зупинки. Інші випадки передбачали використання незнайомих бібліотек Python, що потенційно могло загрожувати безпеці.
Источник: tech.liga.net
