Робот MIT CSAIL манипулирует различными объектами (+видео)

Несмотря на все успехи роботов, у них все еще нет навыков даже на уровне двухлетнего ребенка. Промышленные манипуляторы могут снова и снова поднимать один и тот же объект, а некоторые даже умеют воспринимать базовые различия между предметами.

Однако и у роботов обычно возникают проблемы с восприятием расширенного диапазона форм и размеров или с возможностью перемещения объектов на разные позиции.

Но эта ситуация скоро может измениться. Исследователи из Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) MIT сообщили о разработке новой системы, которая позволяет роботам выполнять множество различных задач по уборке и перемещению вещей — от подвешивания кружек до установки обуви на полках — даже не видя объектов, с которыми они взаимодействуют.

Основная идея команды заключалась в том, чтобы рассматривать объекты как совокупность ключевых точек в трехмерном пространстве, которые представляют собой своего рода «визуальную дорожную карту». Исследователи называют свой подход «kPAM» (for «Keypoint Affordance Manipulation» - для «манипуляций с ключевыми точками)», опираясь на более ранний проект, который позволял роботам манипулировать объектами, используя ключевые точки.

Двумя наиболее распространенными подходами к выбору объектов являются «основанные на позе» системы, которые оценивают положение и ориентацию объекта, и общие алгоритмы захвата, которые строго основаны на геометрии. Однако эти методы имеют серьезные проблемы: оценщики поз часто не работают с объектами, значительно различающимися по форме, в то время как подходы с захватом не имеют представления о позе и не могут разместить объекты точно по заданию (например, они не смогут поставить несколько пар обуви на стойку так, чтобы все стояли в одном направлении).

Универсальность kPAM проявляется в его способности быстро включать новые примеры типов объектов. Аспирант Лукас Мануэлли говорит, что система изначально не могла подбирать туфли на высоком каблуке, так как в исходном наборе данных не было примеров. Проблема была легко решена, когда они добавили несколько пар к обучающим данным нейронной сети.

Команда надеется, что впоследствии система сможет выполнять задачи с еще большей универсальностью, например, разгрузить посудомоечную машину или вытереть кухонный стол. Мануэлли также сказал, что понятный человеку характер kPAM означает, что его можно легко включить в более крупные системы манипуляции, используемые на заводах и в других средах.