Обучающее видео для роботов

Когда нанимают новых работников, им могут предложить просмотр обучающего видео о том, как следует выполнять работу. А что происходит, когда вы покупаете нового робота? Исследователи из Корнельского университета учат роботов по обучающему видео и создают серию пошаговых инструкций для выполнения задачи.

Людям не нужно даже включать видеоплеер при этом, робот может посмотреть все, что нужно, на страницах YouTube. Эта робота ориентирована на будущее, когда могут появиться «персональные» роботы для выполнения повседневных домашних задач – приготовления пищи, мытья посуды, стирки, кормления кота, а также для оказания помощи пожилым людям и людям с ограниченными возможностями.

Исследователи называют свой проект Видео для робота (Robowatch). Частично это возможно за счет того, что есть общая исходная структура для большинства видео в формате «Как это сделать». К тому же имеется много доступного материала. YouTube предлагает 180 000 видео на запрос «Как сделать омлет» и 281 000 на запрос «Как завязать бабочку» (на англ. языке). При сканировании нескольких видео на решение одной и той же задачи, компьютер может найти те, что имеют что-то общее и сократить их до пошаговых инструкций на естественном языке.

Зачем люди размещают в сети все эти видео? «Может быть, чтобы помочь людям, или просто для самопиара», - сказал аспирант Озан Шенер, ведущий автор доклада о методах интерпретации видео, представленного 16 декабря на Международной конференции по машинному зрению в Сантьяго, Чили. Шенер сотрудничал с коллегами из Стэнфордского университета, где он в настоящее время является приглашенным исследователем.

Ключевой особенностью системы является ее «неконтролируемость», отметил Шенер. В большинстве прежних методик обучение робота производит человек, объясняющий роботу, что тот наблюдает. Например, при обучении робота распознаванию объектов ему показывают изображения и сообщают их названия. В данном случае, робот при обучении смотрит и распознает видео инструкции.

Столкнувшись с незнакомой задачей, компьютерный мозг робота начинает посылать запрос на YouTube, чтобы найти на эту тему подборку видео «Как это сделать». Алгоритм включает в себя подпрограммы для исключения «выбросов» – видео, которые соответствуют ключевым словам, но не являются учебными. Запрос о приготовлении пищи, например, может вызвать клипы из анимационных фильмов, рекламные объявления для кухонных приборов.

Компьютер сканирует видео кадр за кадром, глядя на объекты, которые появляются часто, и читает сопроводительный текст, используя субтитры, ищет часто повторяющиеся слова. Используя эти маркеры, он совмещает подобные сегменты из различных видео и располагает их в единой последовательности. Из субтитров этой последовательности он может создавать письменные инструкции.

В другом исследовании роботы научились выполнять задачи, слушая словесные инструкции от человека. В будущем, возможно, будет добавлена информация из других источников, таких как Википедия.