Нова загроза для браузерів із ШІ

Компанія зазначає, що «головна нова загроза для всіх агентних браузерів — непряме впровадження команд» (indirect prompt injection). Мета такої атаки — «змусити агента виконати небажані дії, наприклад провести фінансові операції або викрасти конфіденційні дані».

Такі атаки можуть з’являтися на шкідливих сайтах, у сторонньому контенті всередині iframe або через користувацький контент, наприклад відгуки.

Щоб протистояти загрозам, Google інвестує в багатошаровий захист, включно з детермінованими та ймовірнісними механізмами, щоб зробити атаки складними і дорогими для зловмисників.

Як працює захист

Першим рівнем виступає окрема модель «User Alignment Critic», створена за допомогою Gemini. Вона «запускається після етапу планування і перевіряє кожну пропоновану дію», схвалюючи або відхиляючи її. У разі відхилення модель планування формулює план заново, а в разі повторних невдач управління повертається користувачеві.

Головне завдання «Alignment Critic» — перевірка відповідності дій заявленій меті користувача. Якщо дія не відповідає меті, модель блокує її. При цьому компонент бачить тільки метадані про запропоновану дію і не отримує прямого доступу до ненадійного веб-контенту, що запобігає прямому «отруєнню» моделі через інтернет.

Обмеження взаємодії з джерелами даних

Google також розширює можливості Chrome щодо «ізоляції джерел», обмежуючи доступ агента тільки до релевантних джерел даних. Для цього впроваджуються набори джерел агента, які дозволяють агенту працювати тільки з даними, пов’язаними з поточним завданням, або з інформацією, якою користувач погодився поділитися.

Це запобігає можливості зловмиснику змусити агента діяти довільно на сторонніх сайтах.

Прозорість дій і контроль користувача

Gemini в Chrome веде «журнал дій» з докладним описом кожного кроку, а користувачеві надається можливість зупинити агента і взяти управління в будь-який момент.

Кожна значуща дія агента супроводжується перевірками і запитами підтвердження від користувача. Це служить захистом як від помилок моделі, так і від шкідливого введення:

Перед переходом на чутливі сайти, наприклад банківські портали або ресурси з медичною інформацією. Перевірка виконується на основі затвердженого списку чутливих сайтів.

Перед входом на сайти через Google Password Manager — модель не має прямого доступу до збережених паролів.

Перед виконанням будь-яких важливих дій, як-от купівля, платіж, надсилання повідомлень або інші значущі операції, агент ставить процес на паузу і запитує дозвіл користувача або пропонує завершити наступний крок самостійно.