Сотрудники DeepMind продвигают свои методы на пути к мечте о машине, которая обучается сама по себе, как это делает ребенок. Базирующаяся в Лондоне фирма, дочерняя компания Alphabet, сегодня официально публикует результаты исследования в журнале Nature, хотя в ноябре она сообщила о своем желании подготовить препринт в ArXiv. Однако только сейчас последствия становятся ясными: DeepMind уже изучает реальные приложения.

Новая система пробует сначала одно действие, затем другое, изучая, что позволяют правила, и в то же время замечая предлагаемые награды — в шахматах, поставив мат; в Pac-Man, проглотив желтую точку. Затем ИИ изменяет свои методы, пока не найдет способ получить такие награды с большей вероятностью, то есть улучшит свою игру. Такое обучение посредством наблюдения идеально подходит для любого ИИ, сталкивающегося с проблемами, которые сложно определить.

"Мы изучаем возможность применения MuZero для сжатия видео, чего нельзя было бы сделать с AlphaZero", — говорит Томас Хуберт, один из десятка соавторов статьи в Nature.

Одновременно изучая правила и улучшая свою игру, MuZero превосходит своих предшественников DeepMind в экономном использовании данных. Для обучения системе требуется изрядное количество вычислительных мощностей, но после обучения ей требуется так мало обработки для принятия решений, что всей операцией можно будет управлять на смартфоне.

Источник: it.comments.ua