У дослідному інституті Toyota (TRI) за допомогою генеративного штучного інтелекту навчили роботів деяким навичкам приготування сніданку. І це не вимагало сотень годин програмування та подальшої роботи над помилками та виправленням їх. Натомість дослідники оснастили роботів спеціальними датчиками, що забезпечують відчуття дотику, підключили їх до моделі штучного інтелекту, а потім показали системі, що потрібно робити, пише The Verge.

Дослідники зазначили, що дотик є «одним із ключових факторів» у навчанні. Завдяки дотику робот може відчувати, що він робить, отримуючи більше інформації. Це полегшує виконання складних завдань, порівняно з використанням тільки одних камер.

За словами співробітника лабораторії TRI Бена Берчфілда (Ben Burchfiel), « цікаво бачити, як вони (роботи) взаємодіють із навколишнім середовищем ». Спочатку «вчитель» демонструє набір навичок, а потім « протягом кількох годин » модель навчається у фоновому режимі. » Ми зазвичай навчаємо робота вдень, дозволяємо йому вчитися всю ніч, а наступного ранку приступаємо до нової робочої поведінки «, — пояснив Берчфілд.

Дослідники розповіли, що вони намагаються створити так звані великі моделі поведінки (Large Behavior Models, LBM). Подібно до того, як великі мовні моделі (LLM) навчаються, відзначаючи закономірності в тексті, моделі LBM Toyota навчаються шляхом спостереження, а потім «узагальнюють, застосовуючи нову навичку, якій їх ніколи не вчили », каже Расс Тедрейк (Russ Tedrake), професор робототехніки Массачусетського технологічного інституту та віце-президент з досліджень у галузі робототехніки TRI. Використовуючи цей метод, дослідники навчили роботів більш ніж 60 складним навичкам, таким як « розлив рідин, використання інструментів та маніпулювання об’єктами, що деформуються ». Дослідники TRI планують навчити роботів до кінця 2024 року до 1000 навичок.

В аналогічному напрямку працює Google, що створила ІІ-модель RT-2 (Robotics Transformer 2) класу «зір-мова-дія» (Vision-Language-Action — VLA). Подібно до розробки Toyota, роботи на базі RT-2 використовують отриманий досвід, щоб робити висновки, як діяти. Теоретично, роботи, навчені штучним інтелектом, зможуть зрештою виконувати завдання практично без будь-яких інструкцій, крім загальних вказівок, які зазвичай дають людині, наприклад, «очистити підлогу від плями».

Як зазначила The New York Times, такого роду робота (створення моделі подібної до RT) зазвичай «повільна і трудомістка», і надати достатню кількість навчальних даних набагато складніше, ніж просто передати в модель ІІ масу даних, які можна завантажити з інтернету.