robogeek.ru

все о роботах и робототехнике

edu.robogeek.ru

все об обучении робототехнике

Google выделяет пять основных проблем безопасности, касающихся ИИ

Связанные с ИИ угрозы безопасности вызывают подлинное беспокойство, но это не восстание роботов, которого нам нужно бояться. В первую очередь должны быть решены обыденные проблемы: робот с ИИ опрокинул вазу, пока он ее чистил, и тому подобные. Отделение Google Research опубликовало доклад с изложением проблем ИИ, которые являются незначительными сегодня, но потребуют больше внимания, так как эти технологии получают все большее распространение.

Созданный совместно учеными из Google, OpenAI, Стэнфордского университета и Калифорнийского университета в Беркли документ нацелен на сокращение аварий в системах машинного обучения. Исследователи определяют инцидент как «непреднамеренное и вредное поведение, которое может возникнуть у систем машинного обучения, когда мы указываем неправильную целевую функцию, не соблюдаем осторожность в процессе обучения или совершаем другие ошибки, связанные с машинным обучением».

Исследователи определили пять основных проблем, которые могут привести к несчастным случаям - негативные побочные эффекты, вознаграждение за взлом, недосмотр, безопасное исследование и устойчивость к обобщенному смещению.

Отрицательные побочные эффекты могут быть результатом стремления сфокусировать ИИ на задаче, в ущерб окружающей среде. Робот уборщик, например, может вычислить кратчайший путь, и не важно, что на этом пути опрокинутая ваза. В конце концов, единственное, что имеет для него значение – выполненная задача. Исследователи отмечают, что разработка более общего подхода, при котором ИИ выполняет задачи в рамках «ограничений здравого смысла» и оштрафовывается за причинение серьезных изменений в окружающей среде, должны быть предметом дальнейшего изучения.

В документе делается вывод, что эти проблемы могут быть сравнительно легко преодолены при помощи современных технологий, но могут быть и усилены, так как системы машинного обучения становятся более развитыми и распространенными.

Комментарии

(0) Добавить комментарий

Новые комментарии

10 основных навыков, необходимых для робототехников
Гость
16.09.2017
09:48:55
Вы говорите: "Знания в геометрии должны быть ниже среднего"....
Беспилотный Audi Aicon в роскошном исполнении (+видео)
Ирина
14.09.2017
12:29:26
Вау!! Я в полном восторге! Запас 800 км впечатляет. Но больше всего конечно в кайфе от дизайна. На "Автомото" видела полную противоположность этого...