UniSim — генеративна модель, яка імітує взаємодії людей та ШІ-агентів зі світом. Вона може відтворювати візуальні наслідки як високорівневих («відчини дверцята»), так і низькорівневих («встань на точку х, у») інструкцій. Ці дані можуть бути прикладами для інших моделей, яким знадобляться дані реального світу.

Поле навчання UniSim генерує широкий спектр фотореалістичних відеоматеріалів, включаючи людей, які виконують різні дії, та переміщення у просторі. Також модель здатна виконувати симуляцію довгого горизонту, наприклад робота-маніпулятора, що виконує послідовність дій. При цьому UniSim не порушує структуру сцени та об’єктів у ній. Більше того, модель може створювати «стохастичні переходи середовище», тобто відкривати різні предмети, приховані тканиною.

Як відзначають автори, UniSim має надзвичайно високу здатність до генерації реалістичних відео за текстовими описами. Однак її головна перевага в інтеграції із середовищем навчання із підкріпленням. У цьому випадку UniSim дозволяє проводити офлайн-навчання моделей та агентів без потреби у взаємодії з реальним світом.

За словами розробників, UniSim може з успіхом поєднувати інформацію, яка міститься в тренувальних даних та узагальнювати її, створюючи багаті на досвід взаємодії з об’єктами у статичних сценах. Здатність UniSim імітувати реалістичний досвід має далекосяжні наслідки. Вона може використовуватися для навчання різних моделей, які потребують високоякісних та консистентних візуальних даних.

Великі мовні моделі (БЯМ) — нейронні мережі, навчені на значному обсязі тексту — набули ще однієї перспективи. Команда DeepMind, підрозділ Google, відомий своїми системами ШІ, які обіграють людей у ​​настільні та відеоігри, повідомляє, що БЯМ можуть не лише писати наукові роботи, художню літературу та журналістські статті, а й чудово стискати дані. Автори виступають за те, щоб «поглянути на проблему прогнозування через лінзу стиснення».