Способ смысловой интерпретации слитно произносимых слов

,7,) И.иуу., ВК,72) К:.53) У 3 1 (56) Пд у кл,. у 79- Вцуууууууреуууениуу СМГЛОБо чи цля . ЭВМ, э у ВЗууия сл ЕиРУУу У 9 П"1 у,)у уу й /у 7 3 /2/у" у Оу 3Я:"у у Г Г "уРууР Г"уИзобретение относится к речевой информатике, в частности к распознаванию и интерпретации слитной речи,и может быть использовано для управ" ления приборами и устройствами различного назначения голосом.Целью изобретения является повышение скорости смысловой интерпретации путем отбора я каждый момент вре-Юмени заданного числа допустимых поледовательностей слоя, соответствуюих эталонным сигналам слов речи.Яа фиг. 1 изображен граф порождения эталонных сигналов речи, составенной из словаря объемом К слов 1а Фиг. 2 - фрагмент графа распозна"анин слитной речи; на фиг. 3 - блоксхема примера устройства, реализующего предлагаемый способ. 20Способ смысловой интерпретациислитно произносимых слов состоит .вследующемРечевой сигнал дискретизи-.руют с шагом Т. Из дискретизированного речевого сигнала выделяют инфорМативные признаки и в результате получают последовательность Х отсчетов .Х; речевого сигнала: Х р (Х., Х, Х;,.., Х). Каждый отсчет (элемент) Х 1 представлен как щ-мерный вектор. 30Ра этапе обучения распознавания полу-,чают исходные эталоны.-слоя Е, где1,2х1 с, причем каждьйэталон Е представляется последовательностью эталонных элементов е,"ГЕ= (е,е,. е" е" где р длина эталона. При этом пауза рас сматривается как слово (КО) вФ эталон которого. входит один эталонный элемент - эталонный элемент пау-. 40зы. В результате обучения также определяют ограничения на повторяемость каждого эталонного элемента ек в эталоне слова 1, 0 ( Е ( К, гдеЬ - объем словаря. Например, каждый 45 эталонный элемент может повторяться1, 2 или 3 раза.Пусть 8 = 0 - одно общее для всех слов главное состояние (фнг.1). Для каждого слова имеется 3 о к состояний. Выход в начальный момент времени из главного состояния и возврат в него в некоторый заключительный момент времени порождают эталонный сигнал слитной речи, составленный из слов данного словаря, при условии свобод 55 ного порядка слов. Переход по тонкой стрелке на графе означает однократное повторение эталонного элемента. Переход по толстой стрелке означает переход в начальное состояние без повторения эталонных элементов.Для нелинейного сравнения эталонных сигналов слитной речи с реализацией слитной речи используют граф распознавания слитной речи (фиг.2), Так как в рассматриваемом примере эталонный элемент может повторяться 1, 2 или 3 раза, каждому эталонному элементу соответствуют три состояния, на графе раепоэнавания. В первое из трех состояний (закрашенные кружки) входят три стрелки. Во второе и третье состояния (незакрашенные кружки) входит по одной стрелке, Слово 1 может закончиться, когда траекто" рия на графе попадает в состояния, соответствукнцие последнему эталонному элементу эталона слова К. В пер-. вое состояние на графе каждого слова можно перейти из. главного состояния Б = О. В главное состояние можно перейти иэ состояний соответствующих последнему эталонному элементу слова Е (для каждого 1 с). Каждая стрелка на графе соответствует сравнению эталонного элемента с элементом реализации.Пусть для каждого момента времени 1 ( 1 (для всех состояний графов слов и состояния Б = О) найдены Я наиболее похожих (имеющих наибольшую интегральную меру сходства) на соответствующие отрезки речевого сигнала Х, = (Х, Х,, Х,Х 1) эталоннйх сигналов слитной речи с мерой сходства Р, 9 = 1,2М. Соответствующие йм последовательности номеров слов обозначим через К 4 = 1,2Б. Этим последовательостям номеров слов соответствуют некоторые последовательности кодов под" словарей. Каждой паре (Г , К,),41,2Я соответствует адрес записи множества кодов подсловарей, сло" ва из которых могут продолжать последовательность К . и, таким образом, могут непосредственно следовать за последним словом последовательности К , = 1,2И. Иассив допустимых )последовательностей слов задается 1 йследующим образом:(массив допустимых последовательностей слов 7(КОД ПОДСЧОваря 7в( сг- слов соответств) ю),)цхэтому подсловарюТаким образом, в каждый отсчетвремени 1 ( х известно И наиболеепохожих на речевой сигнал Х; в .- (ХХ, Х) эталонных сиги:-:лов слитной речи (последовательностей номеров слов (Р, К, А ), / = 1,г., ,где А - адрес записи в массиве до 3пустимых последовательностей словсписка подсловарей, слона из которых являются смежньгьги справа и последнему слову последовательности КЕсли задана предметная область,то для генерации допустиьогх В этойпредметной области последоват(льностей слов учитывают зцэ.ция с язви(едиалога. Знания о языке диалога могут задаваться в ниде семантическойсети, экокоино задающей массив допустимьгх в языке диалога последояа."телькостей слов, Двигаясь по этойсети из начального массива поЛсловарей в конечный массив подсловарей ивыбирая из соответствующих подслова=рей по одному слву, можно г олучцтьВсе допустимые диалогпо;.,) :;.ог д.тельцости слОВ При )аког) " )со безадания предметной облав -,:. :Оде.).:ва. -Iри могут пересекаться )со: ср.;:ат . ол .ни И те же слова или Г;)угг), .)-,Оя)При одцовремецноь, движег-. цомацтическои се ) и и по ) р ъф):лиэГноЙречи порождаются эталоццье :;: капыслитной речи для допустимьгк В диало"ге последоватег,ьцостей сдав,.Пусть В Кадом состоянии Б Словаа также В главном состоянии Я = адля каждого отсчета речевого сигналав момент 1 хранится массив троек чисел, который запишем в виде) ч " (1(9 Я) 3)состояний графов слов и Я = а вьчисляют тройки чисел для момента времени х на осовации троек чи.л, гголученньв( в момент (-3),ЧЬЧЦСЛЕЦ) Е ТРОЕК ДЛЯ ПЕРВЬСХ СОСТОЯццй эталоццьх элементов (закрапенныекружки), цалпиьгер для 1-го состояни)г-го эталонного элемента слога 1( (Е к =(1( Б-= 1 2 3ь = 1 Усо.Твстствует самой длиннойстрелке, ц =- 2 - средкей по длине,ц =- 1 - самой короткой стрелке цаФиг, 2), Для состояния Я в моментвыбирают такую тройку чисел иэ множества (Р (1(, Б-ц), К; (1(, Б-п),, (А)Л 1 (1(, Я-, о = 1 2 3, С 1 И,чтобы Г,) (1(, Б-ц) были максимальными, а К (1(, Б-и) - разцьми. Ранжирован также М троек чисел в порядкеубывания величиной Г и просуммировавс отобранными значениями Е величинусходства р, (Ж , е)( ) элемента реали."эации Х; с г-цым з)алонцым элементомслова к, пог)учают новую тройку чиселдля состояния Б слона ; и момента,)Плв ГлавОГ" состояния Я ачисление; рсек чисел вьполняют поСобььч фбрулдь), так как в этб". СОстоянии происходит дописывание словя массив, Пусть ",-символ до)пискнациясг)р:.Ва г-ловак пос:тедовательности с;)ов К:, (1(, Б,), Сг)еди всех троек чи(Е ;,)(ь Б,), К ; (1(;, Я) А;(1.,Бы =- 1;1, Яе йГде Й( - множествосостояний на графе 1("го слова, В которьгх может закончиться слово 1(выбирают " максимальных сходств,1(, Б,от отрезков Х и таких,послепова)ельцости К": (1, Ьк) ., - разные (с . Пауза К = а.к ПО,Яследоцательцости К; (1(, Б),) не Дописыяаем 1., и, рацжировав полученцье тройки ПО убыванию сходств, получим новую тройку д)я состояния Б = 0 и момента Времени(Р О, О), К", (К, О),А%, О 4 щ 1 ЯФДалее, находятся адреса А, по кот рым записаны йоды подсловарей, сло- Вв нв которых могут следовать непос едственно за последним словом по. с едовательности К".Особый случай представляет собойа исление Й-"ок в состоянии Б д 1я каждого слова Е. Последовательн сти слон, отобранные в состоянии8 . О, могут быть продолжены словам , составляющими допустимые продолж ния этих последовательностей словв соответствии с семантической сет ю. Допустимые продолжения последов тельностей слов К ,(К, О) определ ют кодами подсловарей, записаннымии адресам А; (Е, 0) в семантичесд 20к й сети. В этом состоянии к значен ю уклонений.Р 1.(Е, О) последова"4т ьностей слов К . (Е, О) которыепут быть продолжены словом Е (дляк ого О, прибавляют сходство перв го эталонного элемента ей словаК с распознаваемым элементом Х . и,р нжировав полученные тройки по убыв нию сходств, получают тройку чиселя момента временидгя состояния8 1 слова 1 с:(Г", (1, 1), К,. О,.1),А 1 Ь, 1, 4 1 и,Аналогичную процедуру проводят дгя каждого слова с.Устройство, реализующее предлагаеспособ, содержит спектр-анализат р 1, вход 2 которого является входдм устройства, блок 3 управления, буфер 4 входного сигнала, блок 5 памяти эталонов, измеритель 6 сходств, блок 7 памяти. кодов подсловарей, бпок: 8 памяти семантической сети, блок 9 памяти элементарных сходств, бЛок 10 прогнозироваяия, блок 11 выделения максимального сходства, блок 12 памяти текущих значений интеграль" нцх параметров, блок 13 принятия ре шения.60 упает на вход1, где формируоры (отсчеты дставляющие ) отрезка рече спектра-анапоступает в ала. С выхода ы Речевои сигнал пос 2 спектра-анализатора ются спектральные век речевого сигнала), пр спектр текущего (15 м ного сигнала с выхода лизатора 1, Эти векто буфер 4 входного сиги 11 спектра-анализатора 1 в блок 5управления поступает сигнал, сопровождающий формирование очередногоспектрального вектора. После поступления упРавляющего сигнала от спектра-анализатора о вводе очередногоотсчета речевого сигнала и управляющего сигнала с вьмода 17 блока 13принятия решения об окончании обра"ботки очередного отсчета с вьмода 16блока 3 управления, в измеритель 6сходства и блок 10 прогнозированияпоступает управляющий сигнал,.по которому в измеритель 6 сходства из буфера 4, входногосигнала принимаетсяочередной отсчет речевого сигнала иизмеряется мера сходства этого отсчета со всеми эталонными элементамивсех слов, записанньви в блоке 5 памяти эталонов, а затем результатыизмерения поступают в блок 9 памятиэлементарных .сходств. Одновременнов блоке 10 прогнозирования для задан" б ного числа текущих накопленных начальных последовательностей, слов. (эталонных сигналов слитной речи),начинающихся, словами иэ начальныхподсловарей и окончившихся в предыдущий отсчет времени, определяютсяслова, которые могут продолжить этинакопленные начальные последовательности слон и эти слова дописываютсяк накопленным начальным последовательностям слов. Прн этом каждойвновь полученной начальной последовательности слов приписывают адресподсловарей, слова иэ которых могутсоставить допустимые продолжения 0 вновь полученной начальной последовательности .слов. Для прогнозированиятого, какие начальные последовательности слов, какими словами могутбыть продолжены, в блок 10 прогнозирования считывает из блока 7 памятикодов подсловарей информацию о том,в какие подсловари входит каждоеслово из словаря, а иэ блока 8 памяти семантической сети - информациюо допустимых в диалоге последова"тельностях слов. С заданной задержкойпосле приема управляющего сигнала изблока 13 принятия решения блбк 3управления формирует на выходе 17сигнал управления, поступающий в вы",делитель 11 максимального сходстваВ соответствии с этим управляющимсигналом выделитель 11 максимальногосходства последовательно для каждого1408449 Способ смысловой интерпретациислитно произносимых слон, включающийвыделение текущих параметров речевого 20 сигнала, сравнение речевого сигналас эталонными сигналами слитной речии формирование для каждого текущегоотсчета параметров Речевого сигналамассива из заданного количества по"следоватеяьностей номеров слон, расположенных по убыванию величины сход.".. ства эталонного сигнала с отрезкомречевого сигнала от первого отсчетадо текущего, о т л и ч а ю щ и й с я 30 тем, что, с целью сокращения временипринятия решения при смысловой интерпретации, для каждого текущегоотсчета параметров речевого сигналарекуррентно накапливают интеграл.,ны;.меры сходства между последовательностью отсчетов текущих параметров отпервого отсчета до текущего отсчетаи эталонными сигналами слитно; речи,начинающимися эталоннь:чи сигналами 40 слов из начальных подсловарей и за- канчивающимися всеми возможными слова считывает с выхода блока 13прогнозирования текущие начальныепоследовательности слов, которые могут бьть продолжены этим словом свыхода блока 9 памяти элементарньгк, -сходств - элементарные меры сходстватекущего отсчета речевого сигнала совсеми эталонными элементами, а свыхода блока 12 памяти текущих эначений интегральных параметров - текущие значения интегральных параметров, т.е. заданное число эталонныхсигналов слитной Речи (последовательностей слон), заканчивающихсякаждым эталонным элементом слова впредшествующий отсчет времени, интегральные сходства этих эталонныхсигналов и адреса подсловарей, словаиэ которых могут составить допустимыепродолжения этих эталонных сигналов(последовательностей слов). Б выде-лителе 11 максимального сходства длякаждого эталонного элемента каждогоэталона слова определяется заданноечисло эталонных сигналов слитной речи, заканчивающихся в текущих отсчетах речевого сигнала этим эталонным элементом, а также соответствующиеэтим эталонным сигналам интегральныесходства и адреса подсловарей, слова иэ которых могут составить допустимые продолжения этих эталонныхсигналов слитной речи (последовательностей слов). Полученные интегральные текущие параметры записываются в блок 12 памяти текущих значений интегральных параметров. В блоке 13 принятия решений среди все эталонных сигналов слитной речи, заканчивающихся последними эталонными элементами (для каждого эталона слова) и наиболее похожих на отрезок речевого сигнала от первого отсчета до текущего, выбирается заданное число4 эталонных сигнаЛов (последовательностей слов), имеющих максимальное интегральное сходство.1Если на выходе 18 блока 3 управления появляется сигнал, указывавций на окончание речевого сигнала, первая из заданного числа последовательностей слов, полученных в текущий отсчет времени в блоке 13 принятия решения интерпретируется и на5 выходе 19 этого блока появляется ответ интерпретации. Если речевой сигнал не закончился, последовательности слов, отобранные блоком 13 принятия решения, с его выхода 20 передаются в блок 10 прогнозирования, а свыхода 17 в блок 3 управления передается управляющий сигнал об окончанииобработки очередного отсчета речево"го сигнала,Использование предлагаемого изобретения позволит при достаточно высокой надежности интерпретации сокра- тить время реакции в системах, использующих речевое управление. Формула изобретения эталонными элементами только тех слов, номера которых принадлежат под;словарям, адреса которых приписанытекущим последовательностям номеровслов и слона которых могут составитьдопустимые продолжейия последовательностей номеров слов иэ текущих масси"вов, накопленных для несколькихпредшествующих отсчетов текущих параметров, а в текущие массисы иззаданного количества последовательностей номеров слов записывают теранжированные по убыванию сходстваполученные путем дописывания допустимого слова новые последовательности номероь слов, которым соответствуют наибольшие интегральные меры сходства, причем каждой вновь полученной1 О 1408449 6 дупоследовательности номеров слов приписываот адрес подсловарей, слова из которых могут составить допустимые. продолаеийа вновь полученной последовательности слов, а ответ интерп ретации определяют по последователь"ности слов с наибольшей интегральноймерой сходства, найденной для послед,него отсчета параметров речевого сигнала.Ф Составитель С.Лапинедактор Й.Гратилдо Техрец А,Кравчук Корректор тяоаж .35 СИ Государственного комитет делам изобретений и открыт Иоска "-35 Раушскан наб Прои 3 яодстБенно полиГрафическое лредлриятие, Г У%Город уй Лроектнай