Для обучения нейросети использовались небольшие видеофрагменты, где люди выполняют определенные действия: танцуют, играют в теннис или другие игры. В рамках проекта искусственный интеллект Facebook научился анализировать поведение субъектов на видео и действия, которые они выполняют. Затем алгоритм создает виртуального персонажа по образцу реального человека, который может танцевать, играть в спортивные игры или делать то-то еще. Затем нейросеть помещает персонажа в нужную обстановку. В итоге получается обновленная версия компьютерных игр 90-х, где присутствует 3D-модель реального человека.

Алгоритм работает на двух взаимосвязанных нейросетях под названиями Pose2Pose и Pose2Frame. Каждая из них отвечает за определенные действия. Кроме них в технологии применяется алгоритм DensePose, который преобразует 2D-изображение в 3D-модель. На первом этапе DensePose занимается выявлением объекта и созданием его трехмерного аналога.

Затем в дело вступает Pose2Pose, который отделяет выбранного человека вместе с предметами (если они у него есть) и переносит в новую сцену с черным фоном. Завершает процесс Pose2Frame, формирующий конечного виртуального персонажа, и затем помещает его в нужный фон. Полученная модель может управляться в режиме реального времени с использованием клавиатуры или джойстика.

Созданный командой проекта ИИ Facebook умеет выполнять не только основную работу, но также может фильтровать посторонние предметы и другие субъекты, исключая лишние. Еще алгоритм способен компенсировать различные углы камеры. Пока действия виртуальных игроков и танцоров выглядят не вполне естественно, их внешние проявления похожи на движение по ледяной поверхности, что иногда свойственно 3D-моделям. Количество движений трехмерных персонажей также ограничено.

В перспективе проект, где нейросеть Facebook создает реалистичные симуляции с участием 3D-персонажей, способен преобразовать компьютерные игры, сделав их более индивидуальными. В них можно помещать любого задуманного персонажа из видео (или самого себя), тем самым добавив играм или дополненной реальности более реалистичную графику.