Исследователи из Google и Оксфордского университета представили ИИ, который может редактировать движения отдельных объектов. Теперь работа с видео может сократиться в несколько раз.

Новая нейронная сеть может различать отдельных людей и объекты на видео, а также ускорять или замедлять их движения по отдельности, обеспечивая при этом плавное взаимодействие друг с другом. Теперь редакторы видео могут поменять действия в кино, используя всего один инструмент.

Для этого команда Google и Оксфордского университета разделила каждый кадр видео на отдельные слои и научила ИИ идентифицировать людей или объекты в них. Эта нейронная сеть сфокусирована на вещах на каждом слое, концентрируясь на их движениях, затем она может разделить каждый объект и менять их движение.

Ранее Google придумала модель, которая может считывать язык жестов во время видеозвонков. ИИ может определять «активно говорящего», но игнорирует собеседника, если он просто двигает руками или головой. Новая разработка исследователей Google способна делать это с большой эффективностью и небольшими задержками. Пока исследователи отмечают, что определение языка жестов приводят к задержке или ухудшению качества видео, однако эту проблему можно решить, а сама модель осталась легкой и надежной.

Сначала система прогоняет видео через модель под названием PoseNet, которая оценивает положение тела и конечностей в каждом кадре. Упрощенная визуальная информация посылается модели, обученной позиционированию данных из видео людей, использующих язык жестов, и сравнивает изображение с тем, как люди обычно показывают те или иные слова.

Источник: hightech.fm