Показаны возможности биоподобного принципа обучения нейронной сети на основе мемристоров

Группа учёных из России и Греции открыла новые перспективы использования локальных правил обучения на основе мемристоров при решении актуальных задач искусственного интеллекта с использованием сложных импульсных нейросетевых архитектур.

Учёные Университета Лобачевского совместно с коллегами из Национального исследовательского центра «Курчатовский институт» (Москва) и Национального исследовательского центра «Демокрит» (Афины) работают над аппаратной реализацией импульсной нейронной сети на основе мемристоров. Ключевыми элементами такой сети наряду с импульсными нейронами являются искусственные синаптические соединения, которые могут изменять силу (вес) связи между нейронами в ходе обучения. Мемристивные устройства на основе наноструктур «металл-оксид-металл», разработанных в НИФТИ ННГУ, подходят для этой цели, однако для их использования в конкретных импульсных нейросетевых архитектурах, разрабатываемых в Курчатовском институте, необходима демонстрация биологически правдоподобных принципов обучения.

Биологический механизм обучения нейронных систем описывается правилом Хэбба, согласно которому обучение происходит в результате усиления силы связи (синаптического веса) между одновременно активными нейронами, что говорит о наличии причинно-следственной связи в их возбуждении. Одной из уточняющих форм этого фундаментального правила является пластичность, зависящая от времени прихода импульсов (Spike-Timing Dependent Plasticity – STDP).

В соответствии с STDP синаптический вес увеличивается в том случае, если постсинаптический нейрон генерирует импульс (спайк) сразу после пресинаптического, и наоборот, синаптический вес уменьшается, если постсинаптический нейрон генерирует спайк прямо перед пресинаптическим. Причем, чем меньше разница во времени Δt между пре- и постсинаптическими спайками, тем сильнее происходит изменение веса.

По словам одного из исследователей, заведующего лабораторией НИФТИ ННГУ Алексея Михайлова, для демонстрации принципа STDP в данной работе были использованы мемристивные наноструктуры на основе пленок стабилизированного иттрием диоксида циркония, известного твердотельного электролита с высокой подвижностью ионов кислорода.

«Благодаря заданной концентрации кислородных вакансий, а она определяется контролируемой концентрацией примеси иттрия, и неоднородной структуре пленок, полученных методом магнетронного распыления, такие мемристивные структуры демонстрируют управляемое биполярное переключение между различными резистивными состояниями в широком диапазоне сопротивлений, которое связано с выстраиванием и разрушением проводящих каналов по межзеренным границам в поликристаллической пленке ZrO2(Y)», – отмечает Алексей Михайлов.

Массив мемристивных устройств для исследования был реализован в форме микрочипа, смонтированного в стандартный металлокерамический корпус, что облегчает интеграцию массива в аналоговую схему нейронной сети. Полный технологический цикл создания мемристивных микрочипов в данный момент осуществлен на базе НИФТИ ННГУ, однако в перспективе возможно масштабирование до минимального размера устройств порядка 50 нм, как это было установлено греческими партнерами.

Проведенные исследования динамической пластичности изготовленных мемристивных устройств, – продолжает Алексей Михайлов, – показали, что форма изменения проводимости в зависимости от Δt хорошо согласуется с правилами обучения типа STDP. Причем, если начальное значение проводимости мемристора близко к максимальному, то соответствующий ему вес хорошо ослабляется и плохо усиливается, а в случае мемристора с минимальной проводимостью в начальном состоянии его вес плохо ослабляется и хорошо усиливается.

Как считает один из идеологов данной работы, директор-координатор по направлению природоподобные технологии НИЦ «Курчатовский институт» Вячеслав Демин, установленная закономерность изменения проводимости мемристора ярко демонстрирует возможность аппаратной реализации так называемых локальных правил обучения. Последние представляют собой правила изменения силы синаптических связей, зависящие только от значений переменных, доступных в каждый момент времени локально (активностей нейронов и текущих величин весов).

«Это существенно отличает этот принцип от традиционного алгоритма обучения, который основан на глобальных правилах изменения весов, использующих информацию о том, каковы значения ошибки в текущий момент времени на каждом нейроне выходного слоя нейронной сети (в широко популярной группе методов обратного распространения ошибки). Традиционный принцип не является биоподобным, требует «внешнего» (экспертного) знания о правильных ответах для каждого предъявляемого сети примера (то есть не обладают свойством самообучаемости) и плохо реализуем на основе мемристоров, так как требует, в отличие от локальных правил, контролируемого точного изменения их проводимостей. Последнее далеко не всегда доступно в связи с естественной вариабельностью (разбросом параметров) мемристоров как аналоговых элементов», – говорит Вячеслав Демин.

Локальные правила обучения типа STDP, аппаратно реализованные на мемристорах, являются основой для автономного обучения («без учителя») импульсной нейронной сети. Конечное состояние сети при этом не зависит от ее начального состояния, а зависит только от условий обучения (конкретной последовательности импульсов). По мнению Вячеслава Демина, это открывает перспективы использования локальных правил обучения на основе мемристоров при решении актуальных задач искусственного интеллекта с использованием сложных импульсных нейросетевых архитектур.

Статья по результатам работы недавно была опубликована в журнале Microelectronic Engineering (https://doi.org/10.1016/j.mee.2019.110988).

Изображение поперечного сечения мемристивной структуры «металл-оксид-металл» на основе поликристаллической пленки ZrO2(Y) (a), STDP-зависимости проводимости мемристора от времени задержки между импульсами пре- и постсинаптического нейронов (b), фотографии микрочипа с массивов мемристивных устройств в стандартном металлокерамическом корпусе (d) и простейшая импульсная нейросетевая архитектура, обучающаяся на основе локальных правил изменения мемристивных весов (e).