Устройство для моделирования нейрона

СОЮЗ СОВЕТСКИХСОЦИАЛИСТИЧЕСНИХРЕСПУБЛИК 51 С 066 7 НИЕ ИЗОБРЕТЕНИ КОМУ СВИДЕТЕЛЬСТВУ А ское свил. С 06 ГОСУДАРСТВЕННЫЙ КОМИТЕТ СССПО ДЕЛАМ ИЗОБРЕТЕНИЙ И ОТНРЫТ(46) 30.06.85. Бюл. 9,24 (72) Ю,Д, Кропотов и С.В. Пахомов (71) Ордена Трудового Красного Знамени научно-исследовательский институт экспериментальной медицины АМН СССР(56) 1. Позин Н.В. Моделирование нейронных структур, М., Наука, 1970 с, 259.2. Автор детельство СССР В 767788, к С 7/60, 1978 (прототип).(54)(57) УСТРОЙСТВО ДНЯ МОДЕЛИРОВАНИЯ НЕЙРОНА, содержащее цифровой интегратор, прямые входы которого я ляются входами возбуждения устройства, и цифровые интеграторы потенциации и депрессии, выходы которых подключены к соответствующим входам сумматора, о т л и ч а ю щ е е с я ЯО 1075632 тем, что, с целью повышения точностимоделирования и упрощения конструкции, в него введены два блока умножения и компаратор, выход которогоподключен к первым входам цифровыхинтеграторов потенциации и депрессии и блоков умножения, выходыцифровых интеграторов потенциациии депрессии соединены с вторымисвоими входами и с вторыми входамисоответствующих блоков умножения,выходы которых подключены к третьимвходам соответствующих цифровых интеграторовпотенциации и депрессии,четвертые входы цифровых интеграторов потенциации и депрессии соединены с источниками постоянногосигнала, выход цифрового интегратора подключен к первому инверсномувходу цифрового интегратора, второйинверсный вход которого соединен .свыходом компаратора, выходом устройства является выход сумматора.Изобретение относится к областибионики и может использоваться длямоделирования поведения нейронныхструктур при обучении и распознавании образов. 5Известно, устройство для моделирования нейрона, входящее в сеть, вкоторой выходы каждого устройстваподключены к входам соседних моделейнейронов с помощью локальных связей 10(т.е. связей, являющихся убывающимифункциями расстояния между клеткамислоя) 11 1. Эти устройства, в частности, могут осуществлять операциювыделения краев пространственно 15распределенного внешнего сигнала,играющую большую роль в центральнойнервной системе человека и животныхпри выделении информативных признаков образов. 20Однако свойства отдельных моделей нейронов этой сети не соответствуют полученным в последние годыданным о синаптической пластичностив нервной системе (т.е., способности нейронов изменять величину связи с другими нейронами в зависимости от собственной активности).Эти экспериментальные данные указывают на участие двух различныхпроцессов в синаптической пластичности, один из которых связан с истощением запасов доступного медиатора при длительной монотонной стимуляции нейрона и приводит к уменьшению величины связи между нейронами (синаптическая депрессия), адругой, по-видимому, связан с регуляцией внутриклеточного кальцияи приводит к увеличению связи междунейронами при такой стимуляции (синаптическая потенциация),1Наиболее близким техническимрешением к изобретению являетсяустройство для моделирования нейро нов 2 , содержащее цифровой ин - тегратор, прямой вход которого является входом устройства, и цифровые интеграторы потенциации и депрессии, выходы которых подключены.к 50 соответствующим входам сумматора.Кроме того, устройство содержит целый ряд других цифровых интеграторов, соединенных между собой и измерителем. 55Данное устройство также не модулирует упомянутые выше процессысинаптической пластичности. Оно имеет сложную структуру и его можно использовать при реализации на его основе нейронных сетей.Целью изобретения является повышение точности за счет обеспечениявозможности моделировать синаптическую депрессию и потенциацию и упрощение конструкции.Поставленная цель достигается тем, что в устройство для моделирования нейрона, содержащее цифровой интегратор, прямые входы которого являются входами возбуждения устройства, и цифровые интеграторы потенциации и депрессии, выходы которых подключены к соответствующим входам сумматора, введены два блока умножения и компаратор, выход которого подключен к первым входам цифровых интеграторов потенциации и депрессии и блоков умножения, выходы цифровых интеграторов потенциации и депрессии соединены с вторыми своими входами и с вторыми входами соответствующих блоков умножения, выходы которых подключены к третьим входам соответствующих цийровых интеграторов потенциации и депрессии, четвертые входы цифровых интеграторов потенциации и депрессии соединены с источниками постоянного сигнала, выход цифрового интегратора подключен к первому инверсному входу цифрового интегратора, второй инверсный вход которого соединен с выходом компаратора, выходом устройства является выход сумматора. Соединение таких устройств в одну структуру с помощью локальных входов дает совершенно новый результат, определяемый кооперативными свойствами слоя моделей нейронов и явно не вытекающий из исходных предпосылок с синаптической пластичности, а именно полученная в результате модель нейронной структуры обладает способностью к привыканию (т.е. ее реакция на внешний стимул уменьшается со временем) и кратковременной памяти (т.е. структура сохраняет след стимула в течение времени, значительно большего характерных времен депрессии и потенциации).На фиг. 1 приведена структурная схема устройства, где также указаны связи по выходу этого устройства с аналогичными устройствами, которые образуют сеть 11; на фиг. 2 - ха107563рактеристики внешнего сигнала и локальных связей между устройстваминейрона в сети, на фиг. 3 и 4 " последовательные этапы работы сети вдвух различных режимах (соответственно с преобладанием синаптическойпотенциации и депрессии),Устройство для моделированиянейрона содержит цифровой интегратор 1,.группа прямых входов 2 кото Орого соединена с выходами моделейсоседних нейронов, а первый инверсный вход 3 - с выходом интегратора 1,а прямой вход 4 интегратора 1 соединен с источником внешнего сигнала 5(на чертеже не показан), компаратор5, вход 6 интегратора, цифровые интеграторы 7, 8 потенциации и депрессии, блоки умножения 9, 10, источники 11, 12 постоянного сигнала, сумматор 13. Выход интегратора 1 связантакже с входом компаратора 5, осуществляющего сравнение сигналана входе с порогом нейрона. Выходкомпаратора 5 связан обратной связью 25с вторым инверсным входом 6 интегратора 1 и входами цифровых интеграторов 7 и 8 потенциации и депрессии. Каждый из интеграторов 7и 8 имеет четыре входа, первый из зокоторых связан с выходом компаратора 5, третий через блок умножения 9(8), а четвертый вход связан с источником единичного (по амплитуде) постоянного сигнала 11 (12). Выходыдвух интеграторов 7 и 8 соединеныс своими вторыми входами и с входами сумматора 13, выход которого сое-динен с входами 2 соседних моделейнейронов.Рассмотрим работу устройства,включенного в указанную сеть. Для задания характера функционирования устройства Определяют значения весов А 5 подынтегральных функций цифровыхинтеграторов 1, 7 и 8.и их исходные значения на основе нейрофизиологических данных. После этого устройство готово к приему внешнего сигнала.На каждом шаге на входы 4 интеграторов 1, значения на выходе которых отражают динамику мембранных потенциалов моделируемых нейронов, подаются внешние сигналы, характеризующие сумму постсинаптических потен- ф циалов от внешних источников, навходы 2 - сигналы с выхода соседних г 4моделей нейронов, на входы 3 - сигналы обратной связи с выходов соответствующих интеграторов 1, моделирующие наличие постоянной времени мембраны нейрона, на входы 6 сигналы с выходов соответствующих компараторов 5, моделирующие возвращение потенциала мембраны нейрона к исходному уровню после генерации спайка (импульса). Сигналы с выходов интеграторов 1 подаются на соответствующие входы компараторов 5, моделирующих процесс генерации спайка нейрона в случае превышения порога мембранным потенциалом нейрона. Компараторы 5 формируют импульсы единичной длительности (в один шаг) и единичной амплитуды. С выходов компараторов 5 единичные импульсы поступают на входы интеграторов 7 и 8, моделирующих процессы депрессии и потенциации в синаптических окончаниях нейронов, Интеграторы 7 и 8 осуществляют пошаговое интегрирование приходящих на них постоянных единичных сигналов 11 и 12,сигналов с выходов компаратора 5и выходов интеграторов 7 и 8 соответственно, а также произведений сигнала на выходе компаратора 5 с сигналом на выходе соответственно интеграторов 7 и 8. Сигналы с выходовинтеграторов 7 и 8 поступают навходы сумматоров 13, сигналы с выхода которых подаются на входы 2 интеграторов 1 соседних моделей нейронов с весами, которые определяются на основе нейрофизиологическихи психофизиологических данных функцией модуля разности расстояния между модеЛями нейронов, представленной на графике 15 (фиг. 2).Пошаговая работа описанного устройства соответствует решению следующей системы раэностных уравнений,адекватно характеризующих поведение структуры моделируемых нейронов:Р,.(Ь 1)-Р,(Х)-ЫР,(Х)Ху(х (х)х. (1 Ц 1 1 1 ЭФЧ31 92 хй;(1 )- ЕМ,(1 )+3,. (1 с); Х (Х 1)-Хх,(Х)(А,+В,Н (Х)1 Х, (Х)+С Ч,)+,1 х 1).х(х):А,в,н.(х)х:,(х) с,х,(х) где Р;1 К)- мембранный потенциал 1-го.1.нейрона на 1 -м шагеФ Эов- постоянная времени мембраны нейрона;порог срабатывания нейрона;внешний сигнал, подаваемый на 1-й нейрон на % -м шаге;функция связи, характеризующая неизменную во времени часть связи между нейронами, модуль разности порядковых номеров который равен гдискретная характеристика состояния нейрона на )-.м шаге, определяемая условием: Р,(1)8 - нейрон генерирует импульс (спайк), Р (1 с) ( 8 . нейрон молчи 10 М,(Ф 120 х (1), - величины, характеризующие,переменные во времени части:7. связи от -го нейронана 1 -м шаге, отражающиесоответственно вклад про 25цессов синаптической депрессии и потенциации,5,С,Э - параметры, характеризующие синаптическую депрессию,ничного нейрона под номером входящего в моделируемую нейронную сеть. Будем считать время дискретным с единичным квантом времени и выведем уравнение, описывающее рабо 40 ту г-го нейрона на 1 -м шаге (дискретном интервале времени). Как показЫвают многочисленные. нейрофизиологические исследования нейрон характеризуется мембранным потенциалом45 Р(М) изменяющимся во времени под влиянием внешних воздействий. При достижении мембранным потенциалом определенного порогового уровня 6 нейрон генерирует импульс - так на зываемый потенциал действия, который передает сигнал от данного нейрона, с которым он связан синаптически. Таким образом, нейрон может находить. ся в двух состояниях: активном М (1):1 при Р (1)70 р В котором происходит генерация потенциала дей- ствия и передача сигнала к другим нейронам, и пассивном (М;(%)= О ) при МВС 3- парметры, характеризующие синаптическую потенциацию. Рассмотрим поведение модели еди- З 5 Р; (1) ( О. Следует подчеркнуть, что после генерации нейронов потенциала действия мембранный потенциал возвращается в состояние покоя, которое в нашей модели характеризуется Р;(1) = О, т.е. фактически происходит "сбрасывание" потенциала на величину, равную порогу срабатывания 6,.Как показано в целом ряде фундаментных нейрофизиологических работ, мембрана нейрона между двумя срабатываниями может быть представлена в виде определенной электрической схемы, содержащей емкость и сопротивление, с постоянной времени 1/о. Изменение мембранного потенциала за единичный квант времени, обусловленное этим пассивным свойством мембраны, равно -гг,1 Р;( 1). Следовательно, в отсутствие внешних воздействий на нейрон изменение мембранного потенциала за один квант времени удовлетворяет следующему уравнению:Р (1 сф 1)- Р;(1 с)= с Р, (М)-6 й, (1 с),что соответствует тому, что при Р; (1) (9 мембранный потенциал возвращается к нулевому уровню с постоянной времени 1 гс, а при Р;(А): 0 нейрон генерирует потенциал дейст - вия (М(1)= 1) и скачком возвращается в состояние покоя.Однако в действительности на нейрон в каждый кВант времени могут поступать воздействия от внешних источников сигнала и от соседних нейронов, входящих в моделируемую нейронную сеть. Изменение мембранного потенциала за единичный квант времени, обусловленное этими двумя процессами, может быть представлено в виде двух слагаемгх: 5;) - внешний сигнал, подаваемый на 1-й нейрон на 1-м шаге, Х у(1)М (1))ф 1 /сумма постсинаптических потенциалов,поступаюших на 1-й нейрон с остальных нейронов моделируемой структурыпри их срабатывании (здесьпостсинаптический потенциал, генерируемый на 1-м нейроне при срабатывании ) -го нейрона),Таким образом, изменение мембранного потенциала за единичный квантвремени, обусловленное пассивнымии активными свойствами мембранынейрона, а также приходящими на ней 107563230 На фиг. 3 сверху вниз изображены последовательные этапы работыустройства со следующими параметра-,ми синаптической пластичности, соответствующими преобладанию процесса синаптической потенциации:Я О, В=0,251 С.,= 0,125,(порог, постоянная времени мембраны,амплитуда "белого" шума, характеризующего случайные синаптическиевоздействия на модели нейронов,несвязанные с сигналом, и моделирующего спонтанную активность нейронов), а также вид функции связимогут быть выбраны на основе нейрофизиологических и психофизиологических данных, полученных на человеке 10и животных, при этом можно считать,что длительность каждого шага работы устройства соответствует длительности передачи сигнала в синапсесинаптической задержке, равной 150,5 мс, Рассмотрим следующие значения параметров модели нейрона:с= 0,1, В = 1,0, "белый" шум - случайная величина, подаваемая на каждом шаге на каждый нейрон, равномерно распределенная в интервале 0,200,26, Параметры внешнего сигнала,распределенного по моделям нейронов, представлены на графике 14(фиг. 2), где по оси абсцисс - номер модели нейрона по порядку, пооси ординат - величина внешнегосигнала, подаваемого на входы 2соответствующей модели нейрона.Вид функции связи представлен награфике 15, где по оси абсциссмодуль разности .порядковых номероввзаимодействующих моделей нейронов,по оси ординат - сила связи междуэтими моделями. Параметры синаптической пластичности также выбирают на основе кейрофизиологическихданных, при этом рассмотрим дватипа синапсов: с преобладаниемсинаптической потенциации (т,е. синапсы, длительная стимуляция которыхв конечном счете приводит к увеличению синаптической эффективности)и с преобладанием синаптическойдепрессии (т.е. синапсы, длительная стимуляция которых приводитк уменьшению синаптической эффективности). графике, представляющем результат усреднения по 64 последовательным шагам работы устройства и пяти различным реализациям, определяемым исходными начальными состояниями, по обе оси абсцисс отложены номера моделей нейронов в слое, по оси ординат - частота срабатывания модели нейрона. Представлены следующие этапы работы устройства; 16 - на внешние входы устройства подается случайный сигнал ("белый шум), моделирующий спонтанную активность нейронов слоя, 17 и 18 - на внешние входы устройства наряду с "белым" шумом поступает определенный пространственно распределенный внешний сигнал, представленный на графике 14, 19, 20, 21 - последовательные этапы работы устройства после выключения стимула, 22 - через 512 шагов после выключения стимула. Из фиг, 3 отчетливо видно, что рассматриваемое устройство осуществляет фильтрацию низкочастотной пространственной составляющей внешнего сигнала, причем след от сигнала сохраняется в течение достаточно длительного времени, значительно превышающего характерное время потенциации, для данного случая составляющее 100 шагов, Таким образом, в случае преобладания процесса синаптической потенциации устройство проявляет свойство кратковременной памяти, т,е. может в течение достаточно длительного времени, превосходящего по продолжительности временные параметры синаптической пластичности одиночной модели нейрона, удерживать след внешнего сигнала.На фиг. 4 сверху вниз представлены последовательные этапы работы устройства со следующими параметрами синаптической пластичности, соответствующими преобладанию процесса синаптической депрессии: А =О,81 = -005 С 1 = Оэ Л = Оэ 0095А 2 = О, Б=-0,25, С. =0,375, Р 2= -0,026. Обозначения те же, как и на фиг. 3. Из приведенных графиков видно, что реакция устройства на внешний сигнал уменьшается с течением времени - привыкание. После выключения внешнего сигнала наблюдается интересное явление отдачи", характеризующееся реакцией устройства, инверсированной к исходной реакции на11 10756 внешний сигнал. Это свойство наблюдается в нейронных популяциях мозга человека и животных - возбуждение на включение стимула, торможение на выключение, и наоборот. После этой непродолжительной "отдачи" устройство возвращается в исходное состояние. Следовательно,в случаепреобладания процесса.синаптической депрессии "устройство обладает свойством примыка- О ния к действующему внешнему сигналу.Таким образом, введение в модель нейрона двух интеграторов, двух умно 32 12жителей и сумматора, обеспечивающих изменение величины Связи междунейронами в зависимости оф частотысрабатывания пресинаптического ней"рона и достаточно полно описывающихпроцессы синаптической депрессиии потенциации, позволяет смоделировать свойства реальных нейронных структур, а именно привы-кание и кратковременную память,и приблизить поведение предлагаемого устройства к реальной картине,"Патент", г. Ужгород, ул. Проектная, 4 иал ПП Тираж 710НИИПИ Государственного по делам изобретений,и 3035, Москва, Ж; Ра Подписное омитета СССР открытий шская наб