Для обучения нейросети использовались небольшие видеофрагменты, где люди выполняют определенные действия: танцуют, играют в теннис или другие игры. В рамках проекта искусственный интеллект Facebook научился анализировать поведение субъектов на видео и действия, которые они выполняют. Затем алгоритм создает виртуального персонажа по образцу реального человека, который может танцевать, играть в спортивные игры или делать то-то еще. Затем нейросеть помещает персонажа в нужную обстановку. В итоге получается обновленная версия компьютерных игр 90-х, где присутствует 3D-модель реального человека.

Алгоритм работает на двух взаимосвязанных нейросетях под названиями Pose2Pose и Pose2Frame. Каждая из них отвечает за определенные действия. Кроме них в технологии применяется алгоритм DensePose, который преобразует 2D-изображение в 3D-модель. На первом этапе DensePose занимается выявлением объекта и созданием его трехмерного аналога.

Затем в дело вступает Pose2Pose, который отделяет выбранного человека вместе с предметами (если они у него есть) и переносит в новую сцену с черным фоном. Завершает процесс Pose2Frame, формирующий конечного виртуального персонажа, и затем помещает его в нужный фон. Полученная модель может управляться в режиме реального времени с использованием клавиатуры или джойстика.

Созданный командой проекта ИИ Facebook умеет выполнять не только основную работу, но также может фильтровать посторонние предметы и другие субъекты, исключая лишние. Еще алгоритм способен компенсировать различные углы камеры. Пока действия виртуальных игроков и танцоров выглядят не вполне естественно, их внешние проявления похожи на движение по ледяной поверхности, что иногда свойственно 3D-моделям. Количество движений трехмерных персонажей также ограничено.

В перспективе проект, где нейросеть Facebook создает реалистичные симуляции с участием 3D-персонажей, способен преобразовать компьютерные игры, сделав их более индивидуальными. В них можно помещать любого задуманного персонажа из видео (или самого себя), тем самым добавив играм или дополненной реальности более реалистичную графику.

Популярные публикации

Самые популярные публикации по теме
за все время