robogeek.ru

все о роботах и робототехнике

edu.robogeek.ru

все об обучении робототехнике

Google выделяет пять основных проблем безопасности, касающихся ИИ

Связанные с ИИ угрозы безопасности вызывают подлинное беспокойство, но это не восстание роботов, которого нам нужно бояться. В первую очередь должны быть решены обыденные проблемы: робот с ИИ опрокинул вазу, пока он ее чистил, и тому подобные. Отделение Google Research опубликовало доклад с изложением проблем ИИ, которые являются незначительными сегодня, но потребуют больше внимания, так как эти технологии получают все большее распространение.

Созданный совместно учеными из Google, OpenAI, Стэнфордского университета и Калифорнийского университета в Беркли документ нацелен на сокращение аварий в системах машинного обучения. Исследователи определяют инцидент как «непреднамеренное и вредное поведение, которое может возникнуть у систем машинного обучения, когда мы указываем неправильную целевую функцию, не соблюдаем осторожность в процессе обучения или совершаем другие ошибки, связанные с машинным обучением».

Исследователи определили пять основных проблем, которые могут привести к несчастным случаям - негативные побочные эффекты, вознаграждение за взлом, недосмотр, безопасное исследование и устойчивость к обобщенному смещению.

Отрицательные побочные эффекты могут быть результатом стремления сфокусировать ИИ на задаче, в ущерб окружающей среде. Робот уборщик, например, может вычислить кратчайший путь, и не важно, что на этом пути опрокинутая ваза. В конце концов, единственное, что имеет для него значение – выполненная задача. Исследователи отмечают, что разработка более общего подхода, при котором ИИ выполняет задачи в рамках «ограничений здравого смысла» и оштрафовывается за причинение серьезных изменений в окружающей среде, должны быть предметом дальнейшего изучения.

В документе делается вывод, что эти проблемы могут быть сравнительно легко преодолены при помощи современных технологий, но могут быть и усилены, так как системы машинного обучения становятся более развитыми и распространенными.

Комментарии

(0) Добавить комментарий

Есть вопрос по робототехнике? Не можете найти робота для своих нужд? Пишите нам!

Для обратной связи укажите ваш E-mail, он будет доступен только администратору. Так вы сможете оперативно узнать, когда ответ на ваш вопрос будет опубликован