Новые мемристоры решат проблему катастрофической забывчивости нейросетей
В Юлихском исследовательском центре в ФРГ (FZJ) созданы новые мемристоры со значительно улучшенными по сравнению с предшественниками параметрами. Разработка описана в журнале Nature Communications, авторы надеются, что она поможет решить проблему катастрофической забывчивости нейросетей.
Катастрофическая забывчивость — это свойство больших языковых моделей терять информацию при обучении: новая оптимизация просто перезаписывает предыдущую. Мозг этого недостатка лишен, поскольку может регулировать степень синаптических изменений — специалисты называют это «метапластичностью». Новый мемристор способен делать нечто подобное.
«Уникальные свойства позволяют использовать различные режимы переключения для управления модуляцией мемристора таким образом, чтобы сохраненная информация не терялась», — объясняет профессор Илья Валов из Института Петера Грюнберга FZJ.
Идеальные кандидаты для нейроустройств
Мемристоры (от слов memory и «резистор») — будущее вычислительной техники. По сути, это резисторы с памятью: электрическое сопротивление изменяется в зависимости от приложенного напряжения и остается таким после его снятия. В этом главное отличие от классических переключающих элементов, которые теряют информацию после отключения питания, и связано оно с тем, что мемристоры могут структурно изменяться — например, из-за осаждения атомов на электродах.
«Мемристивные элементы считаются идеальными кандидатами для обучаемых, нейроподобных компонентов компьютера, созданных по образцу мозга», — говорит Валов.
Несмотря на значительные успехи и усилия, коммерциализация этих компонентов идет медленнее, чем ожидалось. Это связано в основном с высоким процентом брака при изготовлении и недостаточным ресурсом элементов. Кроме того, они чувствительны к тепловыделению или механическим воздействиям, что может приводить к частым сбоям в работе.
Вместе с немецкими и китайскими коллегами химик и материаловед эту проблему сумел решить: «Мы обнаружили принципиально новый электрохимический мемристорный механизм, который более стабилен как химически, так и электрически».
Новый механизм для мемристоров
На сегодняшний день существуют два основных принципа действия мемристоров: электрохимическая металлизация (ECM) и механизм изменения валентности (VCM).
- В мемристорах ECM между двумя электродами образуется металлическая нить — крошечный проводящий мостик, который изменяет электрическое сопротивление и растворяется при обратном напряжении. Для формирования состояния в такой конструкции достаточно небольшого потенциала, но оно получается недолговечным.
- В мемристорах VCM сопротивление регулируется не движением металлических ионов, а переходом ионов кислорода на границе раздела между электродом и электролитом — за счет изменения так называемого барьера Шоттки. Этот процесс относительно стабилен, но требует высоких напряжений переключения.
Таким образом, оба типа имеют свои достоинства и недостатки, и объединение их преимуществ до сих пор считалось невозможным.
«Наш новый мемристор основан на совершенно другом принципе: он использует нить из оксидов металлов, а не чисто металлическую, как ECM», — показывает Валов.
В новинке проводящая нить формируется за счет движения ионов кислорода и тантала и остается стабильной — никогда полностью не растворяется.
«Можно представить, что нить всегда присутствует, по крайней мере, в зачаточном состоянии, и только химически изменяется», — объясняет ученый.
Новый принцип назвали механизмом изменения проводимости нити (FCM). Построенные на его основе мемристоры более стабильны химически и электрически, устойчивы к высоким температурам, имеют более широкий диапазон напряжений. Для изготовления таких мемристоров не нужны экстремальные напряжения, в результате их меньше выгорает в процессе производства, что снижает процент брака и увеличивает срок службы.
Перспективное решение против катастрофической забывчивости
Кроме того, различные степени окисления позволяют использовать мемристор как в цифровом, так и в аналоговом режиме. Комбинация этих режимов будет полезной в создании нейроморфных чипов, поскольку она может решить проблему «катастрофического забывания».
Исследователи уже внедрили новый мемристорный компонент в модель искусственных нейронных сетей в ходе симуляции. На нескольких наборах изображений система достигла высокой точности в распознавании образов.
В перспективе разработчики намерены найти другие материалы для мемристоров, которые, возможно, будут еще лучше и стабильнее, чем представленный прототип, и это будут способствовать дальнейшему развитию электроники для «вычислений в памяти».
