Устройство распознавания речевых сигналов

СОЮЗ СОВЕТСКИХсОцИАлистическихРЕСПУБЛИК г ЗОБ Т И АВТОРСКО ИДЕТЕЛ ЬСТВУ ие относится к обр оптическими мето ьзовано для реше сигналов с целью сти речевого поток ительную систему обмена с оператор Изобретен чевых сигналов жет быть испол распознавания ния избыточно вводе в вычисл щую в режиме тественном языУстройство мирование час мы исследуем ботке реами и мония задач сокращеа при его работаюом на есвычислен мер близ текущего зом иссл накоплен ной меры раметричЦель ние точн сигналов прбизвод нныхеэами ГОСУДАРСТВЕННЫЙ КОМИТЕТПО ИЗОБРЕТЕНИЯМ И ОТКРЫТИПРИ ГКНТ СССР ОПИСАНИ(71) Ленинградский электротехнический институт связи им. проф. М.А. Бонч-Бруевича (72) Э.И. Крупицкий, В.Ю. Пелевин и Т.Н, Сергеенко(56) Авторское свидетельство СССР М 399908; кл. 6 10 1 1/02, 1973.Авторское свидетельство СССР Ь 404122, кл. 6 10 . 1/02, 1973.Авторское свидетельство СССР В 278229, кл. 0 06 Р 7/08, 1970.(54) УСТРОЙСТВО РАСПОЗНАВАНИЯ РЕЧЕВЫХ СИГНАЛОВ. (57) Изобретение относится к обработке речевых сигналов оптическими методами и может быть использовано для решения задач распознавания сигналов с целью сакра цения избыточности речевого потока при его вводе в вычислительную систему, работающую в режиме обмена с оператором на естествен ном язы ке. Цел ью изобретения является повышение производительности позволяет осуществить форотного Среза спектрограмго сигнала, параллельное 5 ц 5 6 10 9/00, 6 06 Г 7/О устройства. Укаэанная цель достигается введением в устройство блока 14, который позволяет организовать сжатие исследуемого сигнала во временной области и его балансную модуляцию гармоническим сигналом с частотой, равной центральной частоте акустооптического модулятора света, первого и второго блока 10, 12 схем поиска экстремального значения, первого и второго блоков 11, 13 устройств промежуточной выборки - хранения, блока 15 хранения эталонов и блока 9.матрицы М М фотоприемников интегрирующего типа, где М - число частотных срезов спектрограммы эталона, которые обеспечивают рекурсивное вычисление нормализованной меры близости, получаемой после сжатия и балансной модуляции исследуемого сигнала и его преобразование в частотный срез спектрограммы с параметрическими эталонами в соответствии с алгоритмом динамического программирования параллельным накоплением всех промежуточных значений нормализуемой меры близости, присутствующих в графе допустимых нелинейных деформаций. 1 з.п. ф-лы, 6 ил,ие различных корреляцио ости между частотными ср эталона и текущим частотным среедуемого сигнала и рекурсивное ие с оптимизацией нормализованблизости с рассматриваемым паеским эталоном,ю изобретения является повыше- ости распознавания исследуемых при одновременном повышении ительности устройства.На фиг. 1 - 4 приведены структурные схемы устройства и его отдельных блоков, на фиг. 5 - 6 - алгоритмы работы контроллера и блока управления.Устройство содержит (фиг, 1) источник 1 света, коллимирующую систему 2, модулятор 3 света, блок 4 формирования мгновен ных спектров, оптический коррелятор 5, первый блок 6 волоконно-оптических раз. ветвителей, блок 7 волоконно-оптических управляемых затворов, второй блок 8 волоконно-оптических разветвителей, блок 9 матрицы, МЧЛ фотоприемников интегрирующего типа, первый блок 10 схем поиска экстремального значения, первый блок 11 устройств промежуточной выборки-хранения, второй блок 12 схем поиска экстремального значения, второй блок 12 устройств промежуточной выборки-хранения, блок 14 временного сжатия и балансной модуляции исследуемого сигнала, блок 15 хранения эталонов, блок 16 управления, При этом источник 1 через коллимирующую систему 2 оптически связан с модулятором 3, блоком 4 формирования мгновенных спектров и оптическим коррелятором 5, оптический вход первого блока волоконно-оптических разветвителей 6 является оптическим входом оптического коррелятора 5, оптические выходы первого блока волоконно-оптических разветвителей 6 связаны с оптическими входами блока 7 волоконно-оптических управляемых затворов следующим образом. Оптический вход оптического коррелятора номера п 1 ч 1 где п=1.И, И - база частотного среза отрезка исследуемого сигнала в формируемой спектрограмме, соединен с оптическим входом 9 пгп блока волоконно-оптических управляемых затворов при всех гп=1.М, оптические выходы блока волоконно-оптических управляемых затворов связаны с соответствующими входами Ьпгл второго блока волоконно-оптических разветвителей так, что оптический выход цпгп блока волоконно- оптически управляемых затворов через второй блок волоконно-оптических разветвителей соединен с оптическим выходом Оц оптического коррелятора следующим образом: для гл=1+1 и для всех п=-1М соединен с Ьпгп, оптические выходы 0 оптического коррелятора соединены с оптическими входами 1 ц блока матрицы 9 ММ фотоприемников интегрирующего типа, электрические входы блока 7 волоконнооптических управляемых затворов, являющиеся электрическими входами оптического коррелятора 5, связаны с выходами блока 15 хранения эталонов, электрические15 выходы блока 9 матрицы ММ фотоприемников интегрирующего типа связаны с электрическими входами первого блока 10 схемпоиска экстремального значения, электрические выходы первого блока 10 схем поиска экстремального значения связаны с электрическими входами первого блока 11 устройств промежуточной выборки-хранения, выходы которого связаны с электрическими входами второго блока 12 схем поиска экстремального значения, электрические выходы которого связаны с соответствующими входами второго блока 13 устройств промежуточной выборки-хранения, электрические выходы которого связаны с соответствующими входами матрицы 9 фотоприемников интегрирующего типа,первый управляющий выход блока 16 управления связан с соответствующим входом уп равления источника 1 света, вход-выход 25 30 35 40 45 50 55 управления связан с соответствующим выходом-входом управления блока 14 временного сжатия и балансной модуляции исследуемого сигнала, второй выход управления блока 16 управления связан с соответствующим входом управления блока 15 хранения эталонов, третий выход управления блока 16 управления связан с соответствующим входом управления блока 7 волоконно-оптических управляемых затворов, являющимся входом управления оптического коррелятора, четвертый выход блока 16 управления связан с соответствующим входом управления блока 9 матрицы фотоприемников интегрирующего типа, пятый выход управления блока 16 связан с соответствующим входом управления первого блока 10 схем поиска экстремального значения, шестой выход управления блока 16 связан с соответствующим входом управления первого блока 11 устройств промежуточной выборки-хранения, седьмой выход управления блока 16 связан с соответствующим входом управления второго блока 12 схем поиска экстремального значения, восьмой выход управления блока 16 связан с соответствующим входом управления второго блока 13 устройств промежуточной выборки-хранения. Информационный вход блока 16 соединен с информационным выходом второго блока 13 устройств промежуточной выборки-хранения.Устройство работает следующим образом;Исследуемый сигнал поступает на вход блока 14, где осуществляется его сжатие во временной области и балансная модуляция гармоническим сигналом с частотой, определяемой центральной частотой полосы рабочих частот акустооптического модулятора3. С выхода блока 14 преобразованный сигнал поступает на электрический вход экустооптического модулятора 3, возбуждая в волноводе модулятора ультразвуковую.акустическую волну, модулированную в соответствии с законом изменения исследуемого речевого сигнала. Световой пучок от источника 1 поступает через коллимирующую систему 2 на оптический вход акустооптического модулятора 3, на выходе которого формируется световой пучок, пространственно промодулированный по амплитуде (интенсивности) в соответствии с законом изменения исследуемого сигнала, Указанный световой пучок, проходя через блок 4, формируется в частотной плоскости блока 4 в световое распределение, интенсивность света в котором пропорциональна мгновенному спектру исследуемого сигнала. Далее сформированное световое распределение вводится в первый блок 6 волоконно-оптических разветвителей, через который поступает на блок 7 волоконнооптических управляемых затворов. Вводсветового распределения в блок 7 осуществляется как и собственно формирование светового распределения, не непрерывно, а лищь в определенные моменты времени, задаваемые сигналами блока 16 управления,управляющими излучением источника 1. Управление блоком 7 осуществляется с использованием блока 15 хранения эталонов таким образом, что в расположенных в пространстве оптических волокнах в плоскостизатворов создается распределение оптической плотности, соответствующее текущей маске-эталону,Таким образом, на все частотные срезы рассматриваемой маски-эталона оказывается спроецированным световой поток, распределение интенсивности света в котором соответствует одному и тому же частотному срезу спектрограммы исследуемого сигнала. Тем самым параллельно формируютсявсевозможные произведения частотного среза исследуемого сигнала на частотные срезы маски-эталона. С выхода блока 7 через второй блок 8 осуществляется вывод сформированных световых распределенийнэ блок 7 матрицы ММ фотоприемников таким образом, чтобы на каждом фотоприемнике оказалось спроецированным путем разводки соответствующих оптических волокон второго блока 8, сумматорное световое распределение, соответствующее корреляционному интервалу от текущего частотного среза спектрограммы исследуемого сигнала и определенного частотного среза спектрограммы маски-эталона. Указанная разводка осуществляется таким об 5 10 15 20 25 30 35 40 45 50 разом, чтобы оптические выходы блока волоконно-оптических управляемых затворов оказались связанными с соответствующими входами второго блока волоконно-оптических разветвителей.Таким образом, на каждом фотоприемнике накапливается заряд, описываемый совокупностью выражений видаР 1+ б+,где 011 - заряд, соответствующий накопленному значению промежуточной меры близости, при деформации, соответствующей переходу на текущем шагу в узел графа с координатами (1, ;бн 1 - сформированное значение корреляционного интеграла последующего возможного шага-деформации.Для организации вычисления нормализованной меры близости, что и Осуществляется совместной работой первого и второго блоков 10, 12 и первого и второго блоков 11, 13, блока управления 16. Именно к сформированным на предыдущем шаге итерации промежуточным значениям накапливаемого электрического заряда, пропорционального нормализуемой мере близости исследуемого сигнала с параметрическим эталоном, добавляется накапливаемый фотоприемниками заряд, пропорциональный корреляционным интегралам текущего частотного среза исследуемого сигнала и частотным срезам эталона при различных деформациях его по оси времени. Эти электрические заряды считываются параллельно по строкам с матрицы фотоприемников и передаются на первый блок 10, в котором осуществляется выбор "лучшего" пути перехода между двумя фиксированными узлами графа нормализации. Практически это соответствует поиску экстремального значения в строке матрицы зарядов. Найденные первым блоком 10 промежуточные экстремальные значения электрических зарядов "запоминаются" в аналоговом аиде первым блоком 11, Затем вторым блоком 12 осуществляется поиск оптимального пути, приводящего в)-ый узел графа нормализации, как это и требуется в соответствии с общей формулой динамического программирования:Р= Орт(Рн+даЗдесь 01 - накапливаемые нормализуемые меры близости с параметрическим эталоном, соответствующие )-тому узлу графа нормализации, 0 р т - символ поиска экстремального значения, б - текущий корреляционный интеграл,Практически это означает, что осуществляется поиск экстремального значения по вектору значений электрических зарядов, 1691881"запоминаемом" в аналоговом виде первым блоком 11 среди зарядов с номерами, не превосходящими номера узла графа нормализации. Найденные промежуточные значе. ния нормализуемой мерц близости "запоминаются" в аналоговом виде вторым , блоком 13. По окончании поиска найденные значения зарядов записываются соответственно порядковым номером по строкам матрицы фотоприемников и на этом управляемая блоком 16 итерация формирования нормализованной меры близости заканчивается и осуществляется формирование следующего частотного среза исследуемого сигнала.По окончании процесса вычисления нормализованной меры близости для данного эталона ее значение передается в блок 16. По окончании просмотра всех эталонов потребителю выдается информация о наиболее близком эталоне в смысле минимальной корреляционной меры близости.В качестве первого блока 10 схем поиска экстремального значения может быть использовано устройство, структурная схема которого представлена на фиг, 2.Первый блок 10 схем поиска экстремального значения (фиг, 1) работает следующим образом.На компаратор 17 (фиг, 2) подаются напряжения непосредственно с выхода строки блока 9 матрицы фотоприемников и с выхода схемы 18 выборки-хранения (фиг. 2). На компараторепроизводится сравнение указанных напряжений, по результатам которого и в соответствии с поступак)щими от блока матрицы фотоприемников синхросигналами ТИ осуществляется при наличии сигнала управления от блока 16 (фиг, 1) на схеме совпадения 19 (фиг. 2), соединенной своим выходом с входом "управление" схемы 18 выборки-хранения (фиг. 2), либо запоминание нового напряжения схемой выборки-хранения, либо сохранение ранее сформированного напряжения. В результате по окончании считывания строки зарядов иэ блока 9 в схеме выборки-хранения будет зафиксировано напряжение, соответствующее оптимальному заряду по строке зарядов из блока 9 матрицы фотоприемников.В качестве второго блока 12 схем поиска экстремального значения 12 может быть использовано устройство, струкгурная схема типового блока которого представлена на фиг. 3.Работает второй блок 8 схем поиска экстремального значения следующим образом.С выходов схем выборки-хранения первого блока 11 устройств промежуточной выборки-хранения,. подключенных попарно к входам первого каскада схем компараторов 20 (фиг. 3) и параллельно к соответствующим входам схемы коммутаторов 21 (фиг. 3), по результатам сравнения напряжений оказываются на выходе каскада коммутаторов подключенными лишь те каналы, которые соответствуют экстремальным значениям из попарно сравнивавшихся в первом каскаде напряжений. Аналогичные сравнения и коммутация производятся и в других каскадах схем компараторов и коммутаторов, образующих структуру бинарных деревьев, Для выбора экстремальных значений напряжений среди упорядоченных значений, хранимых в первом блоке 11 устройств промежуточной выборки-хранения, и осуществляются описанные коммутации, в результате которых в "корень" дерева передается искомое экстремальное значение напряжения, которое передается на выход блока второго 12 схем поиска экстремального значения, соответствующий найденному экстремальному значению среда значений напряжений, подаваемых на входы блока 13 схем поиска экстремального значения с номерами, не превосходящими номера данного выхода, что осуществляется соответствующим подключением типовых блоков 22 (фиг, 3),Для начального обнуления матрицы фотоприемников выходы схем выборки-хранения второго блока 13 устройств промежуточной выборки-хранения соединены с выходами второго блока 13 устройств промежуточной выборки-хранения через коммутаторы.В качестве блока 14 временного сжатия и балансной модуляции исследуемого сигнала 14 (фиг, 1) может быть использовано устройство, собранное в соответствии со структурной схемой, приведенной на фиг. 4. При использовании в качестве контроллера блока временного сжатия и балансной модуляции исследуемого сигнала универсального программируемого контроллера К 1-20, схема включения которого описывается ниже, а структурная схема и импульсные диаграммы приведены на фиг, 5, 6, могут быть достаточно просто реализованы все связи управления, Именно, в качестве промежуточного ЗУ блока временного сжатия и балансной модуляции исследуемого сигнала может быть использовано ОЗУ контроллера К 1-20 в стандартной схеме включения. Это ОЗУ при необходимости может быть расширено как указано в техническом описании универсального программируемого контроллера К 2-20. Выходы двоичных разрядов преобразованного в цифровую форму отсче,та сигнала 2, 2, С 2 соединены со, 1 12контактами разъема ХСЗ контроллера К 1- 20, соответственно с 831-833, С 27-СЗЗ, 835-837, 839-841. Вход "Запуск" АЦП Ф 70661/1 соединены с контактом СЗ 9, а выход АЦП Ф 7077/1 "Завершено" с контактом С 41 разъема ХСЗ контроллера К 1-20. Вход "управление" схемы выборки-хранения соединяется с контактом С 43 разъема ХСЗ контроллера К 1-20; а выход Чвых схемы соединяется с входом АЦП Ф 7077/1.Аналоговый вход схемы соединяется с выходом входного блока, В качестве входного блока может быть использован фильтр нижних частот с цифровым управлением, входы управления которого соединены с контактами А 27-АЗЗ, А 39-А 45, С 43-С 49. Вход фильтра является входом блока временного сжатия и балансной модуляции исследуемого сигнала 14 (фиг. 1) а значит, и входом устройства.Вход управления блока временного сжатия и балансной модуляции исследуемого сигнала 14 (фиг. 1) соединен с контактом 843-845 разъема ХСЗ контроллера К 1-20.Блок 16 управления 16 .(фиг. 1), организованный на основе контроллера программируемого универсального "Электроника-К 1-20" соединен с другими блоками устройства следующим образом. Блок 14 . (фиг. 1) соединен с контактами 811-813 разъема ХСЗ контроллера. программируе-. мого универсального "Электроника К 1-20", на основе которого организован блокуправления 16 (фиг. 1), блок 7 (фиг, 1) соединен с контактами 815-817, С 11-С 17.Блок 15(фиг. 1) может быть выполнен на основе ППЗУ контроллера программируемого универсального "Электроника К 1-20".: Его разряды подключаются к блоку 7 через контакты 827-833, С 29-СЗЗ, разъема ХСЗ контроллера. Вход управления блока 9 (фиг. 1) соединен с контактом 835 разъема ХСЗ контроллера. Вход управления блока 10 (фиг, 1) соединен с контактом 837 разъема ХСЗ контроллера. Вход управления блока 12 (фиг. 1) соединен с контактом С 37 разъема ХСЗ контроллера. Вход управления блока 11 (фиг. 1) соединен с контактом 841 разъема ХСЗ контроллера. Вход управления блока 13 (фиг. 1) соединен с контактом С 41 разъема ХСЗ контроллера, Вход управления блока 15 (фиг. 1) соединен с контактами А 27-АЗЗ, А 39-А 45, разъема ХСЗ контроллера, программируемого универсального "Электроника К 1-20".Выходы устройства соединены с контактами 843-845, С 43-С 45 разъема ХСЗ контроллера программируемого универсального "Электроника К 1-20", на основе5 10 20 45 50 25 30 35 которого организован блок 16 управления (фиг. 1),Импульсные диаграммы и алгоритм работы блока 16 управления (фиг. 1) приведены на фиг,6.Устройство, рассматриваемое в качестве прототипа, не позволяет осуществлять накопление нормализованной меры близо- сти с параметрическим эталоном, поскольку не обеспечивает возможности поиска в интеративном режиме нелинейной деформации спектрограммы, обеспечивающей наилучшее совпадение с каждым из эталонов, что существенно снижает точность распознавания спектрограмм. Предлагаемое устройство позволяет осуществить обработку исследуемого сигнала посредством последовательного формирования частотных срезов его спектрограммы, параллельного вычисления возможных значений нормализуемой корреляционной меры близости, параллельной частичной оптимизации возможных деформаций временной оси на текущем шаге итерации и параллельное накопление возможных значений нормализуемой меры близости для следующего шага итерации. При этом устройство позволяет в режиме реального времени просматривать и распознавать словарь, более 10000 слов. Все это в конечном итоге позволяет значительно повысить точность обработки исследуемых сигналов при одновременном повышении и производительности (пропускной способности) устройства распознавания, иными словами, позволяет повысить эффективность работы устройства. Формула изобретения 1, Устройство распознавания речевых сигналов, содержащее оптически связанные источник света, коллимирующую систему, модулятор света, блок формирования мгновенных спектров, оптический коррелятор, а также блок управления, отл и ч а ющ е е с я тем, что, с целью повышения точности распознавания исследуемых сигналов при одновременном повышении производительности устройства, в него введены блок временного сжатия и балансной модуляции исследуемого сигнала, первый и второй блоки схем поиска экстремального значения, первый и второй блоки устройств промежуточной выборки- хранения, блок хранения эталонов, блок матрицы ММ фотоприемников, где М - число частотных срезов спектрограммы эталона, модулятор света выполнен в виде акустооптического модулятора, при этом оптический выход ОИоптического коррелятора, где -1 М,1=1М, соединен с5 10 15 20 25 30 35 оптическим входном номера (К, 1) блока матрицы ММ фотойриемников, электрические входы Вл оптического коррелятора связаны с выходами блока хранения эталонов, электрические выходы блока матрицы ММ фотоприемников связаны с электрическими входами первого блока схем поиска экстремального значения, электрические выходы которого связаны с электрическими входами первого блока устройств промежуточной выборки-хранения, выходы которого связаны с электрическими входами второго блока схем поиска экстремального значения, электрические выходы которого связаны с соответствующими входами второго блока устройств промежуточной выборки-хранения, соответствующие выходы которого связаны с соответствующими электрическйми входами блока матрицы ММ фотоприемников, первый вход блока управления связан с соответствующим входом управления источника света, вход-выход. управления связан с соответствующим выходом-входом управления блока временного сжатия и бэлансной модуляции исследуемого сигнала, второй выход блока управления связан с соответствующим входом блока хранения эталонов, третий выход блока управления связан с сответствующим входом управления оптического коррелятора, четвертый выход блока управления связан с соответсг вующим входом управления блока матрицы ММ фотоприемников, пятый выход управления блока управления связан с соответствующим входом. управления первого блока схем поиска экстремального значения, шестой выход управления блока управления связан с соответствующим входом чправления первого блока устройств промежуточной выборки-хранения, седьмой выход управления блока управления связан с соответствующим входом управления второго блока схем поиска экстремального значения, восьмой выход управления блока управления связан с соответствующим входом управления второго блока устройств промежуточной выборки-хранения, информационный вход блока управления связан с информационным выходом второго блока устройств промежуточной выборки-хранения, а выходом устройства является соответствующий выход блока управления.2. Устройство по и. 1, о т л и ч а ю щ е ес я тем, что оптический коррелятор выполнен в виде первого.и второго блоков волоконно-оптических разветвителей и блока волоконно-оптических управляемых затворов, при этом оптические входы первого блока волоконно-оптических разветвителей являются оптическими входами оптического коррелятора, оптический вход Че номера и оптического коррелятора, где п, И, Й -база частотного среза отрезка исследуемого сигнала в формируемой спектрограмме, соединен с оптическим входом цпв блока волоконно-оптических управляемых затворов при всех в,М, оптические выходы блока волоконно-оптических управляемых затворов связаны с соответствующими входами йпв второго блока волоконно-оптических разветвителей, оптический выход дпе блока волоконно-оптических разветвителей соединен с оптическим выходом ОИоптического коррелятора для е+1 и для всех п;й, входом управления оптического коррелятора является вход управления блока волоконно-оптических управляемых затворов.1891881 ылод на л.О(Фиг,1 йод улрайе. нця ол бл 1618918 й 1 Б.1 Установка устройства в исходное состояние Ъидание си еного сигна исследу 1 (виде рки-хрв апис Б,б Оаидвние с 6 Установка ре 1 Установка системи в исходное состояние и ожидание сигнала иользоввтеля "начать рвбо Б.2 в си вод Б Э Подача сигнала в оитическуе,с гнал Подача сигнала ских затворовгнал ние хего пон 6 Составитель Ю. АлешинРедактор В. Трубченко Техред М.Моргентал Корректор А. Осауле Заказ 3931 Тираж ПодписноеВНИИПИ Государственного комитета по изобретениям и открыти113035, Москва, Ж, Раушскан наб., 4/5 К изводственно-издательский комбинат "Патент", г. Уж