Move Mirror сопоставляет движения перед камерой с сотнями изображений людей, занимающих аналогичные позы. Много 11-летних детей будут приветствовать эту идею, особенно если она является альтернативой домашним заданиям по изучению иностранных глаголов.
«Это вроде как магическое зеркало, которое отражает ваши движения с изображениями всех видов движения человека — от спорта и танцев до боевых искусств, актерского мастерства и прочих действий, - говорят исследователи. - Соответствующее вашей позе изображение ищется в базе данных из десятков тысяч фотографий».
Ирен Альварадо, креативный технолог в творческой лаборатории Google, говорит: «С Move Mirror мы показываем, как методики компьютерного зрения, способные оценить позу, могут быть доступны любому, кто имеет компьютер и веб-камеру. Мы также хотели бы сделать машинное обучение более доступным для программистов и разработчиков, перенося оценку позы в браузер и надеясь вдохновить людей на эксперименты с этой технологией».
Проект Move Mirror выполняется с помощью сети PoseNet и TensorFlow.js. Последняя работает как библиотека моделей машинного обучения на устройстве, непосредственно в браузере, а не на удаленном сервере.
Забота о конфиденциальности декларируется в первую очередь. В этом эксперименте изображения не отправляются на серверы Google, когда человек взаимодействует с зеркалом Move Mirror.
Распознавание изображения выполняется локально в браузере.
Как изображения сопоставляются? Move Mirror использует информацию о позе, чтобы найти соответствующий образ. При этом учитывается 17 частей тела, например, правое плечо, левый голеностопный сустав, правое бедро и нос. Move Mirror не берет в расчет расу, пол, рост, телосложение.
PoseNet «распознает общую позицию человека путем анализа и суммирования разных частей тела в фото или видео. Ваша позиция анализируется в реальном времени и сравнивается с набором из 80 000 фото. Move Mirror показывает самое близкое соответствие к каждой позиции, нанизывая их вместе в слайд-шоу».
Комментарии
(0) Добавить комментарий