Импульсные Нейронные Сети

Рост интернета вещей делает острее проблему обработки данных телеметрии на конечных устройствах. Работающие на нейроморфных чипах ИмНС могут решить эту проблему.

Текущие компьютерные архитектуры из-за низкой энергоэффективности не позволяют эффективно реализовывать нейронные сети, которые могли бы обучаться и обрабатывать данные на конечных устройствах

Импульсные нейронные сети (ИмНС) работающие на нейроморфном аппаратном обеспечении — многообещающий подход для решения этой проблемы. Функционирование ИмНС асинхронно и зависит от событий: активны и потребляют энергию только обрабатывающие входящие импульсы нейроны и синапсы. За счет асинхронной природы распространения импульсов в ИмНС основанные на них решения более чем на три порядка энергоэффективнее решений на основе CPU и GPU-чипов.

Для ИмНС актуален вопрос разработки и выбора алгоритмов обучения.

Принципы обучения ИмНС отличаются от принципов, лежащих в основе классического метода обратного распространения ошибки, используемого для обучения искусственных нейронных сетей. Для обучения ИмНС больше подходят принципы, лежащие в основе концепта STDP, согласно которому обучение происходит путем локальных и асинхронных изменений весов. При этом текущие подходы к обучению исполняемых на нейроморфном аппаратном обеспечении импульсных нейронных сетей основаны на портировании заранее обученных сверточных нейронных сетей на ИмНС. Такой подход не предполагает обучения непосредственно на нейроморфном чипе.

Мы разрабатываем платформу для исследования методов обучения ИмНС на основе процесса STDP и развития когнитивных архитектур на ее основе

1

Исследуем Self-Organizing Liquid State Machine (SOLSM), которые являются перспективным направлением в обучении ИмНС, комбинирующим правила нейронной пластичности Хебба и подход Liquid State Machine (Kiselev M. V. A Synaptic Plasticity Rule Providing a Unified Approach to Supervised and Unsupervised Learning, Proceedings of IJCNN-2017, Anchorage, 2017, pp. 3806-3813)

2

Исследуем возможные механизмы памяти в ИмНС. С точки зрения задачи распознавания сложных пространственно-временных паттернов, имеющих значительную временную длительность, принципиальным является наличие в сети механизма рабочей памяти, сохраняющего информацию о начале паттерна на его протяжении и интегрирующего информацию о стимулах, разнесенных во времени, в единую картину. При помощи генетического алгоритма мы нашли модель нейрона, правила пластичности и структуру сети, которые показывают хорошие результаты в формировании рабочей памяти.

3

Исследуем препроцессинговые слои архитектуры Winner Takes All (WTA). Выработали метрики и критерии для определения по выборке данных, будет ли препроцессинговый слой полезен для данного вида задач. Подробности…

4

Развиваем программно-аппаратную нейроморфную платформу в сотрудничестве с компанией Мотив.

Когнитивные архитектуры

Развитие когнитивных архитектур повлечет за собой появление новых, имеющих важное прикладное значение возможностей ИмНС.

Усилия исследовательской группы сосредоточены на разработке когнитивной архитектуры

Мы разрабатываем когнитивную архитектуру, которая позволила бы развить следующие возможности нейронных сетей, имеющие прикладное значение в области безопасности и за ее пределами:

  • длинная контекстная память;
  • постоянное обучение;
  • восприятие среды;
  • действия в среде;
  • построение абстракций и оперирование ими;
  • оценка рисков;
  • мотивация и целеполагание;
  • длительное прогнозирование и планирование.

Вот некоторые задачи, которые мы решаем, работая в этом направлении:

1
Символизация информации

Символизация позволяет придать информации структуру и иерархичность. В какой-то степени механизм символизации реализован в сверточных нейросетях, однако потенциал импульсных сетей, как биологоподобных, выше, и задачи оперирования символьной информацией в импульсных нейронных сетях требуют своего решения.

2
Долговременная память

Разработка механизмов символизации информации в ИмНС может стать ключом и к решению проблемы долговременной памяти, так как именно символ фиксирует информацию как целостный образ, который затем можно извлечь из памяти.

3
Макроархитектура импульсной сети

Мы исследуем, какие макроархитектуры позволят решить упомянутые выше задачи.