Устройство для моделирования адаптивного нейрона

Союз Советски кСоциалистическихРеспубттнк ОПИСАНИЕИЗОБРЕТЕН ИяК АВТОРСКОМУ СВИДЕТЕЛЬСТВУ(5 )М. Кл. С 06 б/60 с присоединением заявки РЙ Гооударотееииый комитет СССР(23) Приоритет Опубликовано 25.05.80. Бюллетень,% 19 Дата опубликования описания 28.05,80 оо делам изобретений и открытий(72) Авторы изобретения Ю. В. Чернухин и Г. А. Гапуев Таганрогский радиотехнический институт им. В, Д. Калмыкова(54) УСТРОЙСТВО ДЛЯ МОДЕЛИРОВАНИЯ АДАПТИВНОГО НЕЙРОНА 1Изобретение относится к области бионики и вычислительной техники и может быть использовано в качестве элемента адаптивных нейтронных сетей, дпя моделирования биологических процессов, в устройствах распознавания образов, .а5 также в качестве элемента структур, предназначенных для решения систем алгебраических уравнений, задач исследова ния операций, краевых задач теории поля.Известно устройство дпя моделированияО нейронасодержашее тт. входов, блоки моделирования сннапса, специальные входы, управляющие изменение синаптических весов, специальные входы, управляющие15 характеристикой .обучения, аддитивный сумматор, формирователь порога, блок управления резисторным элементом, преобразователь напряжения в частоту, блок сравнения, первый, и второй интеграторы, блок управления синапсом, формирователь выходных сигналов и источник питания (1Недостаток такого устройства - посто янство таких параметров, как вес результата пространственного суммирования, длительность временного суммирования, вес пороговой добавки при адаптации по входу, длительность периода возбуждения вес пороговой добавки при адаптации по выходу, длительность периода адаптации, длительность периода обучения и вес длительности периода обучения, которое значительно ограничивает функциональные возможности устройства, так как не позволяет без изменения конфигурации связей между его элементами перестраиваться на различные режимы функционирования.Наиболее близким техническим решением к изобретению является устройство для модепированйя адаптивного нейрона, содержащее аддитивный сумматор, выход которого соединен с входом переменной интегрирования первого цифрового интегратора, выход которого подключен к первому входу первого сумматора, второй вход которого соединен с выходом второго цифрового интегратора, вход переменной интегрировании которого подключен738130 3к выходу третьего цифрового интегратора,вход подынтегральной функции которогоподключен к выходу первого сумматораи к первому входу второго сумматора,выход которого соединен с входом подынтегральной функции четвертого цифровогоинтегратора, выход которого подключен квходу блока сравнения, выход которогоявляется выходом устройства и соединенс входом переменной интегрирования пятого цифрового интегратора, выход которого подключен к первому входу третьегосумматора, второй вход которого соединен с выходом шестого цифрового инте.гратора, вход переменной интегрирования 15которого соединен с выходом седьмогоцифрового интегратора, вход подынтег 1 эальной функции которого подключен к прямомувыходу третьего сумматора, инверсный выход которого соединен с вторым входом вто-Орого сумматора, восьмой. цифровой интегратор, выход которого подключен к третьему входу третьего сумматора, четвертый вход которого соединен с выходомдевятого цифрового интегратора, входпеременной интегрирования которого подключен к выходу третьего цифрового интегратора, входы переменной интегрирования третьего, четвертого, седьмого ивосьмого цифровых интеграторов подключе фоны к первому управляющему входу устройства, входы подынтегральной функциипервого, второго, пятого, шестого, восьмого и девятого цифровых интеграторовсоединень 1 с вторым, третьим, четвертым, пятым, шестым я седьмым управляюшими входами устройства соответственнои входные цифровые интеграторы на каждый вкод устройства, Входы переменной40интегрирования которых являются входамиустройства, входы подынтегральных функций входных цифровых интеграторов образуют группу управляюших входов устройства. Причем, выходы входных цифрсвых45интегратороВ подключены к входам аддитивного сумматора И 1Недостаток устройства - отсутствиев модели учета зависимости эфективности синаптической передачи от частоты5 Свходных воздействий и от состояния нейрона В данный момент времени,Цель изобретения - повьпцение точности моделирования адаптивного нейронаУказанная цель достигается темчтов устройство для моделирования адаптивного нейрона, содержал;ее аддитивныйсумматор, выход которого соединен свходом переменной интегрирования первого цифрового интегратора, выход которогоподключен к первому входу первого сумматора, второй вход которого соединен свыходом второго цифрового интегратора,вход переменной интегрирования которогоподключен к выходу третьего цифровогоинтегратора, вход подинтегральной функции которого подключен к выходу первогосумматора и к первому входу второгосумматора, выход которого соединен свходом подинтегральной функции четвертого цифрового интегратора, выход которого подключен к входу блока сравнения,,выход которого является выходом устройства и соединен с входом переменной интегрирования пятого цифрового интегратора, выход которого подключен к первомувходу третьего сумматора, второй входкоторого соединен с выходом шестогоцифрового интегратора, вход переменнойинтегрирования которого соединен с выходом седьмого цифрового интегратора,вход подинтегральной функции которогоподключен к прямому выходу третьегосумматора, инверсный выход которогосоединен с вторым входом второго сум -матора, восьмой цифровой интегратор,выход которого подключен к третьемувходу третьего сумматора, четвертыйвход которого соединен с выходом девятого щфрового интегратора вход переменной интегрирования которого подключен квыходу третьего цифрового интегратора,входы переменной интегрирования третьего, четвертого, седьмого и восьмогоцифровых интеграторов подключены к первому управляюшему входу устройства,входы подинтегральной функции первого,второго, пятого, шестого, восьмого идевятого цифровых интеграторов соединены с вторым, третьим, четвертымпятым, шестым и седьмым управляюшимивходами устройства соответственно иВХодные цифровые интеграторы по числувходов устройства, входь переменной интегрирования которых являются входамиустройства, входы подинтегральной функции входных цифровых интеграторов являются управлжощими входами устройства,введены десятый цифровой интегратор ипо числу входов устройства - входнойсумматор и два синаптических цифровыхинтегратора, выход каждого входного цифрового интегратора соединен с первымвходом соответствующего входного сумматора выход которого подключен к входу подинтегральной функции первого синаптического цифрового интегратора, выход738136 50 55 которого соединен с входом аддитивногосумматора и с входом переменной интегрирования второго синаптического цифрового интегратора, выход которого подключен к второму входу входного сумматора,входы переменных интегрирования первыхсинаптических цифровых интеграторов соединены с первым входом устройства, входыподинтегральных функций вторых синаптических цифровых интеграторов подключенык восьмому входу устройства и к выходудесятого цифрового интегратора, вход переменной интегрирования которого соединен с прямым выходом третьего сумматора, вход подинтегральной функции десятого цифрового интегратора подключен кдевятому входу устройства.На чертеже приведена структурнаясхема устройства,Устройство содержит входы 1, -1, входные цифровые интеграторы 21 -2 г входы подинтегральных функций которых ногсоединены к группе управляющих входов 31 -Зп, управляющих изменением синаптических весов, входные сумматоры 4, -4, 2 синвптических цифровых интеграторов 5, -5 г и 61 - 6 и. котбрые совместно с интеграторами 21 - 2 с и сумматорами 4, -4 представляют собой блоки моделирования синапса, реализующие зависимость эффективности синаптической передачи от частоты входных воздействий и от состояния нейрона в данный момент времени, первый управляющий вход 7, управляющий изменением длительности периода возбуждения, второй управляющий вход 8, управляющий изменением веса пространственного суммирования; аддитивный сумматор 9, реализующий пространственное суммирование взвешенных входных сигналов, первый цифровой интегратор 10, третий управляющий вход 11, управляющий изменением длительности временного суммирования, первый сумматор 12, второй, третий и четвертый цифровые интеграторы 13, 14 и 15, второй и третий сумматоры 16 и 17, пятый цифровой интегратор 18, вход подинтегрвльной функции которого подключен к четвертому управляющему входу 19, управляющему изменением веса пороговой добавки при адаптации по выходу, шестой цифровой интегратор 20, вход подинтегрвльной функции которого подключен к пятому управляющему входу 21, управляющему изменением длительности периода адаптации, седьмой цифровой интегратор 22, девятый цифровой интегратор 23, вход подынтегральной функциикоторого подсоединен к шестому управляю-щему входу 24, управляющему изменениемвеса пороговой добавки при адаптациипо входу, восьмой цифровой интеграторф 25 вход подынтегральной функции которого подключен к седьмому управляющемувходу 26, управляющему изменением зна 10 чения порога, десятый цифровой интегратор 27, выход которого подключен к восьмому управляющему входу 28, управляющему изменением начального значениядлительности периода обучения, а входподинтегральной функции подключен к девятому управляющему входу 29, управляющему изменением веса длительностипериода обучения, блох 30 сравнения ивыход 31.Цифровой интегратор 14, которыйсовместно с интегратором 13 и сумматором 12 образует блок временного суммирования входных сигналов,Цифровой интегратор 15 совместно с25блоком 30 сравнения и сумматором 16образует, выходное устройство, реализующее пороговый эффект.Устройство работает следующим образом,30Для задания режима функционированияна входы.31 -Зп, 28, 8, 11, 24,26, 21, 29 и 19 подаются соответствующие значения синаптических весов,начального значения длительности перио 55дв обучения, веса пространственного суммирования, длительности временного суммирования, веса пороговой добавки приадаптации по входу порога, длительности40 периода адаптации; веса длительностипериода обучения и веса пороговой добавки при адаптации по выходу, Послеэтого на вход 7 подаются значения длительности периода возбуждения, С этогомомента устройство готово к приемувходных сигналов, поступающих с выходов других элементов, объединенных с данным элементом в нейроноподобную сеть. Входные сигналы через входы 11 -1 моделипоступают на входы переменных интегрирования цифровых интеграторов 2, -2в которых умножаются на соответствуюшие значения синаптических весов, хранящихся в регистрах яодынтегральныхфункций этих интеграторов, полученныепроизведения поступают на первые входыцифровых сумматоров 4, , 4, . В этот же момент времени значения взвешенных входных величин, полученные насумматора 17. Одновременно с сигналами,поступившими на второй, третий и четвертый входы сумматора 17, на его первыйвход с выхода интегратора 18 поступаетпроизведение значений выходной величины(подаваемое с выхода 31 модели) и весапороговой добавки при адаптации по выходу(хранящееся в регистре подынтегральнойфункции интегратора 18), Суммарныезначения, получившиеся в сумматорах12 и 17, с прямого выхода сумматора12 и инверсного выхода сумматора 17, поступают соответственно на первый и второй входы сумматора 16, где дополнительно суммируются, Сумма, полученнаяв сумматоре 17, с прямого выхода этого 30сумматора поступает на вход переменнойинтегрирования интегратора 27, в которомумножается на значение веса длительности периода обучения, и полученное произведение подается на входы подынтегральных функций (служащие для управленияхарактеристикой обучения) интеграторов5, , 5,п . Значение суммы, полученной в сумматоре 16, поступает навход подынтегральной функции интегратора 15, В интеграторе 15, поступившаясумма умножается на значение длительности периода возбуждения и полученноепроизведение поступает на вход блока 30сравнения, в котором сравнивается с 7 7 М 1 предыдущем шаге (на первом шаге они равны нулю) и хранящиеся в регистрах.. подынтегральных функций цифровых интеграторов 6, , 6 умножаются в нихна значение длительности периода возбуж дения (задаваемое с входа 7) и поступают на входы переменных интегрирования цифровых интеграторов 51, , 5., в которых дополнительно умножаются на значений длительности периода обучения, полученные на предыдущем шаге (на первом шаге все они равны начальному значению длительности периода обучения, задаваемому с входа 28) и передаются на вторые входы сумматоров 41, , 4, , Значения взвешенных входных величин, полученные на предыдущем шаге и умноженные винтеграторах 6, , 6 л. на значение длительности периода возбуждения, поступают на входы аддитивного сумматора 9, в котором они суммируются и полученная сумма передается на вход переменной интегрирования интегратора 10, после чего умножается в нем на значение веса пространственного суммирования, хранящегося в регистре подынтегральной функции этого интегратора, Полученное произведение с выхода интегратора 10 поступает на первый вход сумматора 12. Значение результата временного суммирования, полученное на предыдущем шаге (на первом шаге оно равно нулю) и хранящееся в регистре подынтегральной функции ичтегратора 14, умножается в нем на значение длительности периода возбуждения (подаваемое с входа 7) и поступает навход переменной интегрирования интегратора 19, в котором дополнительно умножается на значение длительности временного суммирования (хранящееся в регистре подынтегральной функции этого интегратора) и передается на второй вход сумматора 12. Значение результата временного суммирования, полученное на предыдущем шаге и умноженное в интеграторе 14 на значение длительности периода возбуждения, поступает, кроме того, на вход переменной интегрирования интегратора 23, в котором умножается на значение веса пороговой добавки при адаптации по входу, , и полученное произведение подается натретий вход сумматора 17, на четвертыйвход которого с выхода интегратора 25 поступает произведение значений порога (хранящегося в регистре подынтегральной функции интегратора 25) и длительности периода возбуждения (подаваемое с входа 7). В этот же момент времени текущее 308значение порога, полученное на предыду:шем шаге (на первом шаге оно равно нулю) и хранящееся в регистре подынтеграль ной функции интегратора 22 умножаетсяв нем на значение длительности периодавозбуждения (подаваемое с входа 7) ипоступает на вход переменной интегрирования интегратора 20, в котором дополнительно умножается на значение длительности периода адаптации ( хранящееся в регистре подынтегральной функции этого интегратора) и передается на второй вход нулем. Если это произведение больше нуля, то оно появляется на выходе 31 модели. Если произведение меньше нуля, то сигнал на выходе 31 модели отсутствует. Процесс адаптации по выходному сигналу и по входному производит блок моделирования адаптации, содержащий интеграторы 18, 20 22, 23, 25 и сумматор 17, который в случае неизменности во времени, интенсивности входного возбуждения санала обеспечивает медленное понижение, и зависимости от величины длительности периода адаптации (задаваемое с входа 21) выходной реакции устройства,Работа модели обучающеописывается следующей сисностных уравнений: гося нейро мой разд=-14 е+4,ю-ц 3 с ИР,1= Х 1 й 1- начальное значение длитель-ности периода обучения;5 - вес длительности периодаобучения;и)- текущее знач орогполученное в щуше 55врм шаге,ной, поение и пред ь нвчение взве одной величины. 9 7361Изменение эффективности синвптической передачи в зависимости от частоты поступления входных возбуждающих воздействий, т.е. процесс обучения устройства, реализуют блоки моделирования сигналов состоящие из сумматоров 41, , 4, и интеграторов 21, ., 2 51, , 5, 6 1, , 6 , При частном появлении на-м входе модели ( =1.,п,) входного сигнала,- ь й блок моделирования 1 О синапсв обеспечивает возрастание взвешенного значения входной величины (т.е. увеличение эффективности-ой синаптической передачи ), в зависимости от значения длительности периода обучения, хранящегося в регистре подынтегральнойфункции интегратора 5 . Если на вход, модели перестают поступать входные воздействия, то-ый блок моделирования синапса производит уменьшение 20 взвешенного значения входной величины (хранящееся в регистре подынтегрвльной функции интегратора 6) вплоть до нуля, в зависимости от значения длитель,ности периода обучения, т.е. эффективность-ой синаптической передачи снижается до нуля и данная связь вообще "отмирает Значения длительности периода обучения (храняшиеся в регистрах подынтегральных функций интеграторов 5 5 и , а30 следовательно и эффективность синвнсов зависят от состояния самого нейроноподобного элемента в данный момент времени. Эту зависимость воспроизводит блок моделирования вдаптации (интегрвторы 18, 20, 22, 23, 25 и сумматор 17) и интегратор 27.10 30 Р. дт.Х Х цд т,Ь уу, - у(- 4 д 1 фР д;д 6=-АО.,)и+В,дув . авыхй+дА =щакй,СУ,-В,Рай оторая полностью совпадает с моделью аптвтивного го выходу нейрона. в системе (1 м О, А рввф ф(т единицы, полу птивного по в ве работа мо системой разн ым 1, знвче ц( от нуля до нейрона ад в этом слу следующей чаем модель ходу, твк вкели описывветс остных урввнеР.ДФ =,Е Х, цчЬ- о( У-ц ьд 8 = - И(-1)Дуйьь.ь) ь Ф(к ( О, ГУ; -9,1 ы. лученное в предыдущемшаге;д 1 - длительность периодавозбуждения;Х, - входные воздействияпоступающие на ь -мша е1- синаптический вес ) -говхода;/Ъ - вес пространственногосуммирования;с, - длительность временного суммирования;У(-) - значение временной суммы, полученное в предыдущем шаге;о( - длительность периодаадаптации;1 - вес пороговой добавкипри адаптации по входу;6 - значение порога;- вес пороговой добавки,Фпри адаптации по выходу;ц,- значение выходной величины в ь -м шаге.Полагая в системе (1) о, равным 1, с 5 равным 0 с( равным О, а о( , . и Ьв интервале от нуля до единицы, получаем следующую систему уравнений:11 7361 ЗОДалее положив о равным 1, А 3 равнымО, 4 Ч равным О, А 5 равным О, 1;, равным 1, А равным 1 и Ьравным 1,решение системы (1) принимает вид воздействий и от состояния нейрона в данныйй момент вре ме ни. Форм у: 51., Х- 9 Устройство для моделирования адаптивного нейрона, содержащее аддитивный сумматор, выход которого соединен с входом переменной интегрирования первого цифрового интегратора, выход которого подключен к первому входу первого сумматора, второй вход которого соединен с выходом второго цифрового интегратора,вход переменной интегрирования которогоподключен к выходу третьего цифрового интегратора, вход подынтегральной функции которого подключен к выходу первогосумматора и к первому входу второго сумматора, выход которого соединен с вхо 20 дом подынтегральной функции четвертого цифрового интегратора, выход которогоподключен к входу блока сравнения, выход которого является выходом устройстваи соединен с входом переменной интегрирования пятого цифрового интегратора,выход которого подключен к первому входу третьего сумматора, второй вход которого соединен с выходом шестого цифрбвого интегратора, вход переменной интегрирования которого соединен с выходомседьмого цифрового интегратора, входподынтегральной функции которого подключен к прямому выходу третьего сумматора,инверсный выход которого соединен с вторым входом второго сумматора, восьмойцифровой интегратор, выход которого подключен к третьему входу третьего сумматора, четвертый вход которого соединенс выходом девятого цифрового интегратора, вход переменной интегрирования которого подключен к выходу третьего цифрового интегратора, входы переменнойинтегрирования третьего, четвертого,седьмого и восьмого цифровых интеграторов подключены к первому управляющемувкоду устройства, входы подынтегральнойфункции первого, второго, пятого, шестого,восьгюго и девятого цифровых интеграторов соединены с вторым, третьим, четвертым, пятым, шестым и седьмым управляющими входами устройства соответственно и входные цифровые интеграторыпо числу входов устройства, входы переменной интегрирования которых являютсявходами устройства, входы подынтегральной функции входных цифровых интеграторов являются управляющими входами уст, орд 2 Огде Б.дп. /= .1 ор ;О,что совпадает с алгоритмом работы формального нейрона,Если .( равно 1, (3 равно О, о( равно О, А /, равно О, Д 5 равно О, с(г равно 1 и д( равно 1, то решение системы ( 1 ) прин имает вид что совпадает с алгоритмом работы нейрона, реализующего механизм временного суммирования.Если положить с(равным 1,4 равным 1, 3 равным О, (равным О, 45 равным О, а,(, и Ь т. в интервале от О до 1, то решение системы (1) аппроксимирует решение следующей системы дифференциальных уравнений:- : - ря+й. х (с)дР(ОУьых= о" Ж" ) 61 которая описывает работу аналогового , нейрона Кроме того, полагая со рав"ным 1равным 0 с 3 равным 0/равным О, с(5 равным О, с(. равным О, Ь равным 1, а д. интервала от О до 1, найдем, что решение системы ( 1) примет следующий вид: У. = Е+1 1 (.Уа - Во)д+;:О 1(Увых (.) ЬЕд и.ах О, сь+0 Ь.,что соответствует алгоритму работы обычного цифрового интегратора, работающего по формуле прямоугольников, имеющего блок выделения положительных приращений на выходе и комбинационный сумматор на входе.Благодаря введению новых блоков и связей между ними повышается точность моделирования за счет возможности реализации зависимости эффективности синантической передачи от частоты входных 25 30 35 40 45 50 55 ла изобретения736130 ройства, отличающееся тем,что, с пенью повышении точности моделирования, в него введены десятый цифровойинтегратор и по числу входов устройства -входной сумматор и два синаптическихцифровых интегратора, выход каждого входного цифрового интегратора соединен спервым входом соответствующего входного сумматора, выход которого подключен к входу подынтегральной функции первого синаптического цфрового интегратора, выход которого соединен с входомаддитивного сумматора и с входом переменной интегрирования второго синаптического цифрового интегратора, выходкоторого подключен к второму входу входного сумматора, входы переменных интегрирования первых синаптических пифровых жгород, ул. Проектная, 4 1 НИИПИ Заказ 2280 Филиал ППП "Патент,интеграторов соединены с первым входомустройства, входы подинтегральных функций вторых синаптических цифровых интеграторов подключены к восьмому входуустройства и к выходу десятого цифрового интегратора, вход переменной интегрирования которого соединен с прямым выходом третьего сумматора, вход подынтегральной функции десятого пифровогоинтегратора подключен к девятому входуустройства.Источники информации,принятые во внимание при экспертизе1Авторское свидетельство СССР512478, кл. С 067/60, 1976.2. Авторское свидетельство СССРпо заявке2520500/18-24,кл. б 06 6 7/60, 1977 (прототип). Тираж 751 Подписно