Консалтинговая группа "Текарт" - центр компетенции "Робототехника".

Подробнее...
Основное меню
Категории новостей
Логотип

Facebook превращает реальных людей в управляемых игровых персонажей (+видео)

Группа исследователей из Facebook создала ИИ под названием Vid2Play, который может извлекать пригодные для использования в компьютерных играх персонажи из видеоклипов с играми реальных людей. В дальнейшем ИИ создает высокотехнологичную компьютерную версию игр в формате FMV (Full Motion Video), таких как Night Trap.

Если говорить в целом, нейронные сети могут анализировать случайным образом выбранные видеоклипы с выполняющими определенные действия людьми. Затем ИИ воссоздает этот персонаж и его действия в любой среде, а также позволяет вам управлять ими с помощью джойстика.

Команда использовала две нейронные сети, называемые Pose2Pose и Pose2Frame. Вначале видео подается в нейронную сеть Pose2Pose, предназначенную для работы с определенными типами действий, таких как танцы, теннис или фехтование. Система находит кадры с человеком и выделяет разные позы из внешнего фона. Затем Pose2Frame берет человека вместе с его тенью и любыми объектами в руках и вставляет их в новую сцену с минимальными артефактами. Впоследствии вы можете управлять движением людей, основываясь на позах из видео, используя для этого джойстик или клавиатуру.

Для обучения ИИ потребовалось всего несколько коротких видеоклипов с фехтованием, танцами и игрой в теннис. ИИ мог отфильтровать других людей и компенсировать различные углы камеры. Это исследование напоминает технологию Adobe – «наполнение с учетом содержания» (content-aware fill), в которой также используется ИИ для удаления лишних элементов из видео, таких как туристы или мусорные баки. Стоит отметить, что есть и другие компании, например, NVIDIA, которые также создали свой ИИ, способный преобразовать реальное видео в виртуальные ландшафты, подходящие для игр.

Пока не все в технологии Facebook происходит гладко. Движения немного странные, персонажи выглядят так, как будто играют на льду, есть проблема в 3D-анимации. Кроме того, диапазон движений немного ограничен. Тем не менее, персонажи выглядят довольно реалистично, по сравнению с предыдущими вариантами. Есть надежда на решение проблемы с движением.

Теги: Facebook, ИИ

Комментарии

(0) Добавить комментарий

Ищите команду разработчиков? Не можете найти робота для своих нужд? Пишите нам!

Для обратной связи укажите ваш E-mail, он будет доступен только администратору. Так вы сможете оперативно узнать, когда ответ на ваш вопрос будет опубликован



Новые комментарии

Магнитные гусеничные роботы для очистки корпуса судна от продуктов биообрастания
Гость Николай Николаевич
29.12.2023
10:23:08
Очень нравится. Как возможно задействовать в наших водах Азов и Черное море