Модель адаптивного нейрона

.,".тбктйо-т;,.у и, Фз от. ч; ", ". -,ОПИСАНИЕИ З О Б Р .- 1 Е Н И Я нц 765823К АВТОРСКОМУ СВИДЕТЕЛЬСТВУ Союз Советских Социапистических Республик(22) Заявлено 150878 (21) 2655391/18-24 (51)М КЛ С 06 6 7/60 с присоединением заявки М 9(23) Приоритет - -Государственный комитет СССР но делам изобретений н открытий(71) Заявитель Таганрогский радиотехнический институт им, В,Д, Калмыкова(54) МОДЕЛЬ АДАПТИВНОГО НЕЙРОНА Наиболее близким техническим решением к изобретению является моцель 15 адаптивного нейрона, содержащая управляющий вход, который подключен кпервому входу первого блока временного суммирования, к входу независи.мой переменной выходного интегратора к 29 и к первому входу блока адаптации, ни входов, каждый из которых подключенк первому входу соответствующего блока моделирования синапса, выход кото.рого соединен с соответствующим вхо дом первого блока пространственного,суммирования, выход которого подклю"чен к второму входу первого блока временного суммирования, выход которогосоединен с пряьым входом блока сравне- ЗО ния с порогом, а его выход подключен Изобретение относится к бионикеи вычислительной технике и можетбыть использовано в качестве элемента. адаптивных нейронных сетей, длямоделирования биологических процессов, в-устройствах распознавания образов, а также в качестве структур,предназначенных для решения системалгебраических уравнений, днфферен"циальных уравнений, задач исследования операций, краевых задач теорииполя.Известно устройство, моделирующееадаптивные свойства нервных клеток,содержащее блоки моделирования синанса, адаптивный сумматор, схему сравнения, преобразователь напряженияв частоту, блок управления синапсом,Формирователь выходных сигналов, блоформирования порога, блок у:давленияреФистивным элементом, находящимся,в блоке моделирования синапса, цепьадаптации, по выходному сигналу, содержащую 1-й интегратор, источникпитания и цепь, моделирующую увеличение активности нейроподобного элемента в зависимости от частоты еговозбуждения, построенную на первоми втором интеграторах 11,Однако устройства, основанные наэлементах аналоговой техники имеютслишком малую стабильность параметров, особенно в зависимости от времени и температуры, а устранение этогозначительно увеличивает стоимостьэлемента, Кроме того, такие элементы1 при их совместной работе с ЭВМ, тре О буют дополнительных дорогостоящихпреобразователей аналого-цифровогби цифроаналогового типа.к входу подинтегральной Функции выХодного интегратора, выход которогоявляется выходом модели 21, Кромеэтого, модель содержит цифровыесумматоры, интеграторы и ряд специальных управляющих входов,Согласно современным представлениям нервной клетке приписывается изве.стная автономность, выражающаяся воптимизации энергетических процессови в пластичности, которую связываютс изменением весов синапсов в процессе жизнедеятельности нервной клетки,На формирование пластических изменений в синапсах оказывает влияние выходная активность самого нейрона,Полагают, что обратная связь в нейроне 15может управлять скоростью пластических изменений в синапсах в зависимости не только от внешней активностисинапсов, обусловленной внешними длянейрона воздействиями, но и от выход Оной активности нейрона. Степень участия каждого синапса при этом определяется величиной постсинаптическогопотенциала, генерируемого данным синапсом в момент возникновения ответа.Легко видно, что подобные свойстване нашли свои отражения в известноймодели нейрона, Другой погрешностьюмодели является большое количествоспециальных входов,.Цель изобретения - повышение точ- ЗОности моделирования,Достигается это тем, что в модель.адаптивного нейрона, содержащую первый блок временного суммированияпервый вход которого псдключенк управляющему входу модели, соединенному с входом .независимой переменнойвыходного интегратора и первым входомблока адаптации, блок моделированиясинапса, выход которого соединен с 40соответствующим входом первого блокапространственного суммирования, выходкоторого подключен к второму входупервого блока временного суммирования,выход которого соединен с первым входом блока сравнения, а выход последнего подключен к входу под 9 нтегральной функции выходного интегратора,выход которого является выходом модели, введены два блока управленияпластичностью, блок коррекции, второйблок пространственного суммирования,второй блок временного суммированияи блоки умножения, первые входы которых соединены с соответствующими входами мбдели, управляющий вход которой 55подключен к первому входу второгоблока .временного суммирования выходкоторого соединен с вторым входом.блока управления пластичностью, вы- щход которого подключен к первомувходу блока коррекции и к вторымвходам блоков умножения, выходы которых подключены соответственно квходам второго блока пространствен ного суммирования, выход которОго соедин ен с в торым в ходом в торо го блока времен ного сумми ров ани я,выход первого блока временнОго суммирования подключен к второму входу блока коррекции, выход которого соединен с вторым входом блока адаптации, выход которого подключен к третьему входу блока коррекции и к входу второго блока управления пластичностью, . выход которого соединен с вторыми входами блоков моделирования синапса.Кроме того, блок управления пластичностью содержит первый интегратор, вход независимой переменной которого подключен к входу блока управления пластичностью, выход первого интегратора подключен к входу независимой переменной второго интегратора, выход которого соединен с входом подинтегральной функции первого интегратора, с инверсным входом подинтегральной функции второго интегратора и с выходом блока управленияпластичностью. Помимо этого, блок коррекции содержит первый интегратор,вход независимой переменной которогоподключен к первому входу блока и квходу подинтегральной функции второго интегратора, выход которого соединен с одним входом первого сумматора, другой вход, которого подключен к выходу первого интегратора, вход подинтегральной Функции которого соединен с входом независимой переменной вто" рого интегратора и с вторым входомблока коррекции; выход первого сумматора подключен к входу независимой переменной третьего интегратора и квходу подюнтегральной функции четвертого интегратора, выход которого еоединен с одним входом второго сумматора, а его другой вход подключен к выходу третьего интегратора, входподрнтегральной функции которого соединен с входом независимой переменной четвертого интегратора и с третьим входом блока коррекции, выход второго сумматора подключен к выходу блока коррекции.Каждый, блок умножения и каждый блок моделирования синапса состоит из 4-х цифровых интеграторов и двух цифровых сумматоров, соединенных так, что вход независимой переменной первого интегратора соединен с вторым входом.блока, а вход подинтегральной функции соединен с первым входом блока, вход независимой переменной второго интегратора соединен с первым входом блока, а вход подинтегральной Функции соедйнен с вторым входом блока, первый и второй входы первого сумматора соединены соответственно с выходами первого и второго интегратора, вход независимой переменной третьего интегратора соединен с выходом первого сумматора, а вход подинтег 765823ральной функции соединен с первым . входом блока, вход независимой переменной четвертого интегратора соединэн с первым входом блока, а зход подинтегральной функции соединен с выходом первого сумматора, первый и 5 второй входы второго сумматора соединены соответственно с выходами третьего и четвертого интеграторов, выход нторого сумматора соединен с выходом блока, каждый иэ блоков вре менного суммирования и блок адаптации состоит из трех цифровых интеграторов и одного цифрового сумматора, соединенного так, что входы неэави - симой переменной первого и второго интеграторов подключены к первому входу блока, вход подйнтегральной функции первого интегратора соединен с вторым входом блока, инверсный вход подинтегральной функции второго интегратора соединен с выходом третьего интегратора, являющимся выходом блока, первый и второй входы сумматора соединены соответственно с выходами первого и второго интеграторов, а выход этого сумматора соеди нен с входом независимой переменной третьего интегратора, а регистр подмнтегральной функции которого занесена соответствующая постоянная величин а.Сущность изобретения заключается в том, что в модель введена обратная связь между выходом, первого блока, временного суммирования и вторыьи входами блоков моделирования синапса, З 5 образованная последовательно соединенными блоком коррекции, блоком адаптации и вторым блоком управления пластичностью. При неизменной интенсивности входного воздействия эта связь обеспечивает адаптацию нейрона по выходу, заключающуюся в устранении отклонения величины сигнала на выходе первого блока временного суькирования от величины порога путем изменения весов синапсов Т,е. за счет активного обучениянейрона. Оптимизация энергетических процессов в нейроне заключается в .обеспечении в режиме адаптации минимума целевых функций и осуществляется эа счет соответствующего изменения величины порога, Требуемую величину порога вырабатывают последовательно соединенные второй блок про" странственного суммирования, второй 55 блок временного суммирования и первый блок управления пластичностью, выход которого соединен с вторыми входами блока перемножения, С выхода нторого блока управления плас. 60 тичностью в блок коррекции вводится величина обратная величине порога, Выход второго блока временного суммирования, вырабатывающего значение величины порога, соединен с инверс ным входом блока сравнения с порогом,эа счет чего осуществляется плавноепадение частоты выдачи приращенийна выходе устройства и режиме адаптации,Блок коррекции обеспечивае. получение по текущим значениям сигналана выходе блока адаптации и отношениявеличины сигнала на выходе первогоблока временного суммирования к величине порога управляющего воздействияотрабатываемого блоком адаптации со,скоростью, определяемой постояннойвремени блока адаптации,Выходной сигнал блока адаптациипреобразуется вторым блоком управления пластичностью в величину ему обратную, которая и изменяет вес синапсов.На чертеже дана схема моделирова-.ния адаптивного нейрона,Он а содержит входы у строй ст в а 1,1 вход 2 управляющий изменением длительности периода возбуждения, блок адаптации 3, первый блок 4пространственного суммирования первый блок 5 нременного суммирования,блок 6 сравнения, выходной интегратор 7, выход устройства 8, блоки 9,91 9 моделирования синапсавторой блок 10 пространственного суммирования, второй блок 11 временногосуммирования, первый блок 12 управления пластичностью, блоки 13 13132перемножения, первый вход 141 и второй вход 15 соответствующего блока13, блок коррекции 16, имеющий первый вход 17 второй вход 18, и третий вхсд 19, второй блок 20 управления пластичностью, первый вход 21 ивторой вход 221 соответствующего блока 9 первый интегратор 23 и второйинтегратора 24 блока 20, первый интегратор 25, второй интегратор 26,первый сумматор 27, третий интегратор 28, четвертый интегратор 29, второй сумматор 30 блока 16, первыйин тегратор 3 Ь, второй ив тегр атор 32,первый сумматор 331 третий интегратор 34, четвертый интегратор 35, ивторой сумматор 36 блока 9, перныйинтегратор 37, второй интегратор 38,третий интегратор 39 и сумматор 40блока 3,Функционирование устройства осуществляется следующим образом. Пустьв 3.-ом также на входы 1, 1 1 пбданы соответствующие приращения Ах,а в блоки 3, 11,5 и 7 подано с входа2 приращение Ь 1, которое, будучи умноженным в интеграторе 37 на содержимое его регистра подинтегральной функции (уО(Ц,), 1 и сложенным в сумматоре40 с приращением 41, умноженным: в интеграторе 38 на содержимое его регистра подюнтегральной функциииумноженным н интеграторе 39 на содержащуюся в его регистре подОнтегральной функции величину 1 р 1 р дает на выходе блока 3 приращениеАналогично, приращение М,будучи умноженным в первых интеграторах блоков11 и 5 на содержимое иэ регистров подинтегральных функций Ч.,и 9,соответственно и сложенным в сумматорах блоков с приращением М,умноженным во О2-х интеграторах блоков на содержимое их регистров подинтегральных Функций -Оо, 4 и-О-соответственно и умноженным в 3-х интеграторах на величину1/ р дает на выходных блоках 11 и5 приращения15до, 1/ Ж(.-1 Ь По= дфЛП,.:11 (Ч, ь - ц;.д О,Ь регистрах поднтегральных функцийинтегратора 38 блока 3 и 2-х интегра Оторов блоков 11 и 5 будут накопленысоответственно новые значения. величйн У р ц; р -Ц . На выходе 8устройства будет выдано приращениеП ц, д = макс (Ор (П-По)й,аН.Приращенйе дур поступив на вход независимой переменной интегратора 23 и будучи умноженным на хранящиеся в его,.регистре поджнтегральной функции значение 1/у; 1 дает на выходе приращение1/у;., Ь у, которое, будучи умноженным ЗОна величину - - хранимую в регистре1подинтегральной функции интегратора24, дает на его выходе приращение0 ф-"-Я-;) д,р которое поступит навходы 2222 и соответствующих 35блоков 9, на входы 21,21, которых поступили соответствующие приращеНи Я Д хУ, ПРиРаЩение Д 1/У.; р бУДУчиумноженным в соответствующем интеграторе 31 на содержимое его регистрапоцд.нтегральной функции и сложеннымв соответствующем сумматоре .331 с:приращением ьх ,умноженным в йнтеграторе 32, на содержимое его регистраподинтегральной функции, дает на выходе соответствующего сумматора 33приращение веса синапса5 О которое, будучи умноженным в соответст.,вующеминтеграторе 34 р на содержимое ,его регистра подьбнтегральной Функции и сложенным в соответствующем сумматоре 361 с приращением входного сигнала 55 умноженным в интеграторе 35 насодержидмое его регистра подннтегральной функции, дает на выходе соответствующего сумматора Збд приращения постсинаптического потенциала, 6М =Ь(ХЧ )=Х М "( ЬХ ,К этому момент в регистрах подунтегральных функций соответствующих интеграторов 31 32 3 4, 35, будутнакоплены соответственно значения х",дар1/У р х; р. Приращения ЬЧ,просуммированные блоком 4, дают наего вйходе приращение ЬЧ которое,поступив в блок 5, вызывает накопление в нем значения Ч =Ч+ ЬЧ;которое и хранитсяв нем до началанового (г+1 ) -го такта, вызываемогоновой подачей приращения Д 1.Одновременно с этими процессамиприращение ау; поступает с выходаблока 3 на вход 19 блока коррекции16, где будучи умноженным в интеграторе 29 на содержимое его регистра подинтегральной функции исложенным в сумматоре 30 сприрарОщением Ц - румноженным в интегратореООд28 на содержимое его регистра подинтегральной функции дает на выходесумматора 30 приращение Ь(3 1)(,котороепоступив в блок 3, вызывает в немнакопление значения (3) хранимого до поступления следующего такта.Приращение порога дО ,поступив навход блока 12, вызывает на его выходе по аналогии с блоком 20 прираще 1рние А - ,. При этом в 1 и 2-м интегра"лторах олока 12 будут накоплены соотвественно значения 1/Оо и -ЦЦ Приращение Ь, поступает на входы 1515-1-,асоответствующих блоков 13, на входы1414, которых поступили состветсвуюцие приращения Ьх", По аналоМ фгии с блоком 9 на выходе блока 13 рпоявляется приращениеЬФ-)(" Д 3" +Р" ДХ"При этом в регистрах подинтегральныхФункций 1 р 2 р 3 и 4-го интеграторовблока 13 накопятся соответственнозначениядВ Р"ддБлок 10,просуммировав поступившие на его вход приращения Ь 9,даетна выходе пРиРащение 1 МР 2.ЛЯЗ, р котоа:1рое поступив в блок 11, вйзывает накопление в нем величины %;р котораяи хранится здесь до нового такта,Кроме того, приращение д- .поступает1на вход 17 блока коррекций, на вход18 которого поступает приращение дОиз блоку 5, в результате чего приращение Ь ,будучи умноженным в интег"раторе 25 на содержимое его регистраподлнтегральной функции и сложеннымв сумматоре 27 с приращением 611;р умноженным в интеграторе 26 на содержимое регистра подантегральной функциидает н выходе сумматора 27 приращение Ь(ц ) , которое поступаетна входц ,независимой переменной интегратора28, После выдачи блоком 16 выходногопрйращения в регистрах подйнтегральных Функций интеграторов 25,26,28ческому состоянию, какое только возможно при данной постоянной величине входного воздействия путем соответствующего изменения синаптических весов. За счет того, что-Ц на выходе нейрона осуществляется плавное уменьшение частоты выдачи приращений, т.е, осуществляется так назоваемая частотная адаптация нейрона к входному воздействию постоянной интенсивности,Совмещение в одной модели нескбль" 10 ких функций, выполняемых параллельно и одновременно, и .расширение функциональных воэможностей делает модель более эффективной припользовании в устройствах моделирования биологических процессов. Использование циф- ровых интеграторов и сумматоров во всех без исключения частях модели повышает точность моделирования новых функций и повышает технологичность устройства. Повышению техноло гии служит и единообразие большого .количества достаточно сложных обаеди" наний элементов модели.Формула изобретения 25.1,Модель адаптивного нейрона, содер" жащая первый блок временного суммиро- вания, первый вход которого подключен к управляющему входу модели, соединенному с входом независимой переменной выходного интегратора и йервы входом блока адаптации, блок моделирования синапса, выход которого соединен с соответствующим входом первого блока пространственного суммирова" 35 ния, выход которого подключен к вто" рому входу первого блока временного сумьщрования, выход которого соединен с первым входом блока сравнения, выход которого подключен к входу под интегральной Функции выходного интегратора, выход которого является выхо-", дом модели( О т л и ч а В щ 6 й с я тем,.что, с целью повышения точности моделирования, в нее введены два бло-,45 ка управления пластичностью блок коррекции, второй блок пространствеи" ного суммирования, второй блок временного суммирования и блоки умножения, цервые входи .которых соединены с соответствующими входами модели, управляющий вход которой подключен к первому входу второго блока временного суммирования, выход которогосоединен со вторым входом блока сравнения и со входом перзого блоха уп-,равления пластичностью, выход которого подключен к первому входу блокакоррекции и к вторим входам блоковумножения, выходы которых подключены соответственно к входам второго блока пространственного суммирования, выход которого соединен с вторым входом второго блока временного суммирования, выход первого блока временного суммирования подключен к второму входу блока коррекции, выход которо - го соединен с вторым входом блока адаптации, выход которого подключен к третьему входу блока коррекции и к входу второго блока управления пластичностью, выход которого соединен с вторыми входами блоков моделирования синапса.2. Модель по п.1, о т л и ч а ющ а я с я тЬм, что блок управления пластичностью содержит первый интегратор, вход независимой переменной которого подключен к входу блока управления пластичностью, выход первого интегратора подключен к входу неза-, висимой переменной второго интег ратора, выход которого соединен с входом подынтегральной ФункЦии первого интегратора,с инверсным входом подынтегральной функции второго интегратора и с выходом блока управления пластичностью.3. Модель по п.1, о т л и ч а ю - щ а я с я тем, что блок коррекции содержит первый интегратор , вход независимой переменной которого подключен к первому входу блока и к входу подйнтегральной Функции второгоинтегратора, выход которого соединенс одним входом первого сумматора,другой вход которого подключен к выходупервого интегратора, вход подунтегральной Функции которого соединен свходом независимой переменной второго интегратораи с вторим входом блока коррекции, выход первого сумматораподключен к входу независимой переменной третьего интегратора и к входуподннтегралъной Функции четвертогоинтегратора, выход которого соединенс одвим входом второго сумматора,другой вход которого подключен к выходу третьего интегратора, вход подитегральной Функции которого соединен с входом независимой переменнойчетвертого интегратора и с третьимвходом блока коррекции, выход второго сумматора подключен к выходу блока коррекции.Источники информации,принятые во внимание при экспертизе1 Авторское свидетельство,СССР9 512478 кл. О 06 6 7/60 1974 ,.2. Авторское свидетельство СССРпо заявке 2520500/18-24,кл. О 06 8 7/60 (прототип).7 б 5823 Составитель А, ЯицкоГончар Техред М.Рейвес еда орректор М. Ко а Филиал ППП Патент, г, Ужгород, ул. Проектна б 511/46 тираж 7.51 Подпи снВНИИПИ Государственного комитета СССРпо делам изобретений и открытий113035, Москва, Ж, Раушская наб д. 4/5