МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ
Федеральное государственное автономное образовательное учреждение
высшего образования
«Национальный исследовательский
Нижегородский государственный университет им. Н.И. Лобачевского»
Радиофизический факультет
Кафедра Электродинамики
Направление (специальность) «Информационная безопасность телекоммуникационных систем»
ОТЧЕТ ПО ПРОИЗВОДСТВЕННОЙ ПРАКТИКЕ
Научно-исследовательская работа
Звуковые интерфейсы управления
Руководитель практики
Кандидат физико-математических наук, доцент
Умнов Алексей Львович
Студент 4-го курса Астафьев Павел Павлович
Нижний Новгород, 2020
Интернет вещей — это концепция, появившаяся в начале 2000-х годов и с тех пор надежно закрепившаяся среди наиболее популярных направлений в области информационных технологий. В ее основе лежит идея о вычислительной сети устройств, способных взаимодействовать друг с другом и с внешним миром. Решения интернета вещей предлагают различные способы взаимодействия пользователя и системы устройств. Успешные разработки способствуют появлению нового вида человеко-машинных интерфейсов: голосовых ассистентов, способных вести с пользователем диалог на естественном языке и выполнять различные голосовые команды, нейроинтерфейсов на основе нейронных сетей и др. Однако, работ по использованию звуковых волн в твердых телах как рычагом управления разными системами немного. Поэтому я решил рассмотреть тему звуковых интерфейсов управления и придумать систему такого рода, с помощью которой можно было бы, например, управлять функциями "умного дома"(включить/выключить кондиционер, свет и т.д).
Задачи решаемые в работе:
Изобретение относится к дистанционно управляемым игрушкам, а более конкретно к игрушкам, реагирующим на речевое или звуковое воздействие.
В настоящее время, наряду с игрушками, управляемыми посредством механических воздействий или электрических сигналов, все большее распространение получают игрушки, реагирующие на звуковые или речевые команды и производящие в ответ на эти команды различные механические движения, световые сигналы, речевые или иные звуки.
Устройство включает программируемый набор исполняющих устройств (драйверов), имеющих множество выбираемых действий, запоминаемых в ПЗУ, аудиоприемник и оперативное запоминающее устройство (ОЗУ) для получения и запоминания переданной последовательности звуковых команд, определенной пользователем; процессор для выработки команд для набора исполняющих устройств выполнять игрушке определенные действия в соответствии определенной пользователем последовательности действий.
Процессор включает электронные цепи, реагирующие на последовательный ввод принимаемых звуковых сигналов, поступающих в порядке введения их пользователем, а также производящие распознавание команд и побуждающие набор исполняющих устройств, запомненных в ПЗУ, выполнять игрушкой действия в выбранном пользователем порядке в соответствии с полученной последовательностью звуковых команд. Процессор соединен с первым ключом режимов обучения и исполнения. ПЗУ через второй ключ соединен с набором исполняющих устройств.
Известное устройство действует в двух режимах: обучения и исполнения. Когда первый ключ находится в положении обучения, пользователь отдает команду на просмотр всех имеющихся действий игрушки. Далее пользователь произносит свои команды. Звуковая команда поступает через аудиоприемник в электронные цепи, где усиливается и преобразуется в цифровую форму. Цифровой сигнал поступает в контроллер, с выхода которого через аудиодрайвер может поступать на динамик для подтверждения правильности записанной команды (зеркальное воспроизведение) с целью контроля введенной звуковой команды, при этом сами исполняющие устройства не включаются. Очередная введенная команда соответствует включению очередного исполняющего устройства. Одновременно спектрально-временной образ звуковой команды записывается в ОЗУ для дальнейшего ее распознавания в режиме исполнения. Спектрально-временные образы зависят от процедуры распознавания, применяемой в игрушке. Например, игрушка может реагировать на конкретную фразу, на конкретный речевой сигнал, на громкий звук, число слов в команде и т.д.
После записи команд игрушка готова к работе в режиме исполнения. Когда первый ключ переводят в положение режима исполнения, игрушка переходит в состояние ожидания команды. После поступления звуковой команды через аудиоприемник и электронные цепи в процессор последний сохраняет поступившую команду или последовательность команд в блоке памяти и начинает распознавать их в последовательности поступления. Каждая распознанная команда через второй ключ поступает на соответствующее исполняющее устройство до исчерпанная всех произнесенных команд.
Известное устройство для звукового управления игрушкой не предусматривает взаимодействие нескольких игрушек между собой; примененный в нем режим обучения является довольно сложным и может быть выполнен только пользователями, имеющими, по крайней мере, начальное техническое образование, но не детьми младшего школьного возраста; в устройстве не предусмотрено преобразование звуковых реакций в звуковые команды, так как отсутствует возможность различать фразы, произносимые самой игрушкой, и фразы, произносимые другой игрушкой. Кроме того, предусматривается, что реакции записываются в ПЗУ, а команды - в ОЗУ, и звуковые реакции будут восприниматься игрушкой как команды самой себе, что делает невозможным общение между игрушками.
Акустический выключатель – это устройство, которое замыкает и размыкает цепь от громкого звука или хлопка. Его можно использовать для включения освещения в доме, телевизора, музыкальной аппаратуры и других бытовых приборов. Акустические выключатели стали популярными благодаря удобству применения. Они полезны для пожилых людей, лежачих больных и маленьких детей. Приборы такого класса уже активно используются в системе «Умный дом».
Звуковые выключатели работают следующим образом: человек подает звук для включения (хлопок, фраза). Микрофон улавливает сигнал и передает его в виде напряжения на схему. Со схемы сигнал отправляется на транзистор, а с него на катушку реле. По катушке начинает протекать электрический ток, из-за чего втягивается сердечник. Контакты цепи замыкаются. Ток поступает на светильник или бытовой прибор, из-за чего он включается.
Стандартный прибор имеет следующие параметры:
Плата акустического выключателя
Достоинства:
Недостатки:
В настоящее время большое внимание уделяется созданию доступной среды для людей с инвалидностью и ограниченными возможностями здоровья. Важным средством обеспечения доступности и улучшения качества жизни, социального взаимодействия, интеграции в общество для людей с инвалидностью являются средства вычислительной техники и специализированные информационные системы. Анализ литературы показал, что на сегодняшний день ведутся различные разработки для облегчения взаимодействия человека и компьютера, в том числе в направлении разработки голосовых интерфейсов управления вычислительной системой. Однако, данные разработки ориентируются на создание дикторонезависимых систем, обучаемых на больших данных и не учитывающих особенности произношения команд компьютеру людьми с различными нарушениями речевых функций.
Все системы распознавания речи можно разделить на два класса:
Системы, зависимые от диктора — настраиваются на речь диктора в процессе обучения. Для работы с другим диктором такие системы требуют полной перенастройки.
Системы, независимые от диктора — работа которых не зависит от диктора. Такие системы не требуют предварительного обучения и способны распознавать речь любого диктора.
Изначально появились системы первого вида. В них звуковой образ команды хранился в виде целостного эталона. Для сравнения неизвестного произнесения и эталона команды использовались методы динамического программирования. Эти системы хорошо работали при распознавании небольших наборов из 10-30 команд и понимали только одного диктора. Для работы с другим диктором эти системы требовали полной перенастройки.
Для того чтобы понимать слитную речь, необходимо было перейти к словарям гораздо больших размеров, от нескольких десятков до сотен тысяч слов. Методы, использовавшиеся в системах первого вида, не подходили для решения этой задачи, так как просто невозможно создать эталоны для такого количества слов.
Кроме этого, существовало желание сделать систему, не зависящую от диктора. Это весьма сложная задача, поскольку у каждого человека индивидуальная манера произнесения: темп речи, тембр голоса, особенности произношения. Такие различия называются вариативностью речи. Чтобы ее учесть, были предложены новые статистические методы, опирающиеся в основном на математические аппараты Скрытых Марковских Моделей (СММ) или Искусственных Нейронных сетей. Наилучшие результаты достигнуты при комбинировании этих двух методов. Вместо создания эталонов для каждого слова, создаются эталоны отдельных звуков, из которых состоят слова, так называемые акустические модели. Акустические модели формируются путём статистической обработки больших речевых баз данных, содержащих записи речи сотен людей. В существующих системах распознавания речи используются два принципиально разных подхода:
Распознавание голосовых меток — распознавание фрагментов речи по заранее записанному образцу. Этот подход широко используется в относительно простых системах, предназначенных для исполнения заранее записанных речевых команд.
Распознавание лексических элементов — выделение из речи простейших лексических элементов, таких как фонемы и аллофоны. Этот подход пригоден для создания систем диктовки текста, в которых происходит полное преобразование произнесенных звуков в текст.
На сегодняшний день существует большое разнообразие коммерческих систем автоматического распознавания речи: Google Cloud Speech-to-Text1, Amazon Transcribe2, IBM Speech to Text3, Yandex SpeechKit4, Горыныч ПРОФ 3.0, VoiceNavigator, Speereo Speech Recognition, Sakrament ASR Engine, Dragon NaturallySpeaking, ViaVoice, Sphinx. Данные системы решают большое количество задач и освобождают разработчика от необходимости создавать такую комплексную и сложную систему, как систему автоматического распознавания речи. Например, распознавание речи с помощью проверенных временем алгоритмов, демонстрирующих высокие результаты, можно реализовать с использованием высокопроизводительных вычислительных ресурсов облачных систем. Облачные платформы предоставляют отказоустойчивый программный интерфейс приложения (API, Application Programming Interface) для распознавания речи, а также имеют экосистемы с большим количеством пользователей, куда легко встраивать собственные приложения с голосовым интерфейсом.
Кроме несомненных достоинств, вышеупомянутые системы имеют следующие недостатки:
1. Перечисленные выше системы являются облачными системами, поэтому они зависят от их доступности, пропускной способности и прочих факторов, влияющих на скорость распознавания.
2. Нет возможности настроить систему распознавания речи для решения конкретной задачи. Качество распознавания зависит от используемой языковой модели. В разных прикладных областях разная вероятность у разных слов. Стандартные системы используют усредненную модель языка, либо модель, разработанную для решения проблем, поставленных перед создателями платформы, далеко не всегда совпадающими с задачами пользователей системы.
3. Обычно работа с облачными системами требует дополнительных финансовых затрат, заданных правилами использования таких систем.
4. Ресурсозатратность голосовой активации. При постоянной записи звука дополнительно расходуется интернет-трафик.
Однако,на рынке преобладают программные продукты, ориентированные на большое количество пользователей, они являются дикторонезависимыми, как правило, имеют проприетарную лицензию, что существенно ограничивает их использование для задач управления вычислительной системой людьми с ограниченными возможностями здоровья. Системы для управления голосом специализированных средств, таких как умный дом, экзоскелет и др., не являются универсальными.
CMU Sphinx является одним из самых крупных проектов по распознаванию речи, а также обладает реализацией для ОС Android. Для распознавания речи в CMU Sphinx используются две модели: акустическая и языковая. Акустическая модель позволяет оценить распознавание речевого сегмента с точки зрения схожести на звуковом уровне. Для каждого звука описывается его произношение в речи. Языковая же модель позволяет определить наиболее вероятные последовательности слов. Для связи между языковой и акустической моделями задается словарь, в котором сопоставлены лексемы и фонемы (слово и его звучание). А также для описания языка задается грамматика — формальные правила, которые описывают простые правила построения предложений. Ввиду того что словарь состоит только из слов, связанных с прикладной областью, вероятность распознавания посторонних фраз становится очень низкой. Для каждого устройства описываются собственные правила грамматики. Стоит отметить, что система распознавания работает в режиме постоянной обработки сигналов, записанных микрофоном. Для перехода в режим распознавания команд используется активационная фраза, услышав которую подсистема начинает анализировать сигнал с микрофона с целью сопоставить его с описанными ранее грамматиками.
Для решения задачи построения системы адаптированной под пользователя с нарушениями речи необходимо, чтобы она :
В качестве входной информации для работы голосового интерфейса выступает звуковой файл в оперативной памяти, в результате подачи файла на нейронную сеть программа выдает соответствующий результат.
В качестве математического аппарата решения задачи выделения характеризующих признаков целесообразно использовать нейронную сеть, которая сможет обучиться и автоматически выделить необходимые признаки. Это позволит обучать систему под особенности произношения речевых команд конкретного пользователя. Это сеть Коско и Кохокена.
Самоорганизующаяся карта Кохонена — нейронная сеть с обучением без учителя, выполняющая задачу визуализации и кластеризации. Является методом проецирования многомерного пространства в пространство с более низкой размерностью (чаще всего, двумерное), применяется также для решения задач моделирования, прогнозирования, выявление наборов независимых признаков, поиска закономерностей в больших массивах данных, разработке компьютерных игр. Является одной из версий нейронных сетей Кохонена.
Сеть Кохонена является подходящей сетью, так как данная сеть может провести автоматическое разбиение обучающих примеров на кластеры, где количество кластеров задается пользователем. После обучения сети можно рассчитать к какому кластеру относится входной пример, и вывести соответствующий результат.
Нейронная сеть Коско или двунаправленная ассоциативная память (ДАП) — однослойная нейронная сеть с обратными связями, базируется на двух идеях: адаптивной резонансной теории Стефана Гросберга и автоассоциативной памяти Хопфилда. ДАП является гетероассоциативной: входной вектор поступает на один набор нейронов, а соответствующий выходной вектор вырабатывается на другом наборе нейронов. Как и сеть Хопфилда, ДАП способна к обобщению, вырабатывая правильные реакции, несмотря на искаженные входы. Кроме того, могут быть реализованы адаптивные версии ДАП, выделяющие эталонный образ из зашумленных экземпляров. Эти возможности сильно напоминают процесс мышления человека и позволяют искусственным нейронным сетям сделать шаг в направлении моделирования мозга.
Преимущество этой сети является в том, что основе дискретных нейронных сетей адаптивной резонансной теории разработана новая двунаправленная ассоциативная память, способная запоминать новую информацию без переобучения нейронной сети. Это позволяет пользователю пополнять запас голосовых меток в случае необходимости.
Концепция программной реализации содержит три этапа, которые реализуются в одном программном продукте, имеющем эргономичный графический интерфейс.
1.Сбор обучающих примеров.
Для обучения нейросети пользователю предлагается произнести несколько раз заготовленные голосовые метки. Так как записываемые фразы состоят из одного слова, то размер файла не имеет значения. И для дальнейшей обработки звук записывается в формат WAV. Это PCM формат записи без потерь. Он является стандартом для дальнейшей обработки звука с помощью библиотеки python_speech_features языка Python. К аудиофайлу должно прилагаться его “значение”, необходимое для дальнейшего обучения нейросети (соответствующие команды).
2. Обучение нейронной сети.
Программа считывает аудиофайлы, и производит генерацию новых аудиофайлов путем изменения длины звуковой дорожки, а также изменение высоты, громкости и тембра речи. Это необходимо для увеличения количества примеров для обучающей выборки, что позволит увеличить качество распознавания нейронной сетью. В программе пользователю будет предложено обучить сеть на записанных ранее голосовых метках. Пользователь может также дополнять базу обучающими голосовыми метками, и дообучить нейронную сеть позднее.
3. Использование программы.
После обучения программы на заданных словах, пользователь может приступить к работе или добавить на обучение новые голосовые метки. Обученная нейронная сеть может распознать подаваемые звуковые файлы.
Определены требования к голосовому интерфейсу управления вычислительной системой для помощи людям с нарушениями речи.
Описан математический аппарат, подходящий для реализации концепции. Составлен алгоритм программной реализации голосового интерфейса.
Дальнейшее развитие предполагает разработку программы с удобным графическим интерфейсом для реализации прототипа голосового интерфейса управления, который может быть использован для различных задач, таких как управление бытовыми приборами, компьютером, роботизированной техникой (экзоскелетами) людьми с инвалидностью.
Данная платформа состоит из двух подсистем: подсистемы звукового управления и подсистемы управления интернет вещами, которая отвечает за формирование и выполнение сценариев интернет вещами.
Подсистема состоит из двух блоков.
Блок звукового детектирования наличия сигнала и местоположения источника.
Нужно решить 2 задачи:
- Определить скорость звука в твердом теле
- Определить местоположение источника звука(номер сектора)
1.1
Предлагается способ измерения скорости и поглощения звука на основе
преобразований Фурье. Сигнал подаётся излучающий акустический преобразователь и на один из входов двухканального преобразователя АЦП с целью записи полученного цифрового массива в виде файла на персональном компьютере ПК. Сигналы с акустического приемника преобразуются также с помощью АЦП в цифровой вид и записываются в файл на ПК.
Синусоидальные колебания на излучателе можно записать в виде уравнения:
Эти колебания приходят на приемник с отставанием по фазе:
Разность фаз равна 
откуда можно определить время прохождения звуковой волны между акустическими преобразователями:
Для определения скорости звука необходимо измерить расстояние l между акустическими преобразователями и разность фаз Δφ при известной частоте f синусоидальных колебаний от генератора:
Разность фаз Δφ можно вычислить из массивов дискретных данных, записанных в файлы на ПК. Для этого необходимо эти данные представить в частотном представлении с помощью дискретного преобразования Фурье:
где N —количество компонентов разложения; x(ndt), n=0,1…N-1, – измеренные значения сигнала; X (kdf) , n=0,1…N-1, – комплексные амплитуды синусоидальных сигналов, слагающих исходный массив; df - дискретность частоты; dt- дискретность времени.
Фаза сигнала, соответствующего частоте f=kdf, определяется как арктангенс отношения мнимой и действительной частей элемента Фурье ряда:
Тогда разность фаз сигналов с приемника и излучателя определится по формуле:
что позволяет вычислить скорость звука из выражения .
C помощью данного метода вполне возможно измерение скорости звука с необходимой точностью. Точность измерения возрастает с увеличением частоты дискретизации АЦП и количества компонентов в массиве данных, записываемых с акустических преобразователей.
1.2
Это можно реализовать несколькими способами, такими как разностно-дальномерный метод, фазовый моноимпульсный метод.
Разностно-дальномерный метод основывается на измерении разности дальностей от источника до нескольких датчиков. Для определения разности дальностей необходимо измерить временные задержки между моментами прихода сигналов одного источника каждым датчиком. Для определения координат источника необходимо определить три разности дальностей 
, вычисленные для четырех датчиков, соответственно необходимо измерить четыре времени задержки прихода сигнала.
Для измерения временных задержек можно использовать алгоритм взаимной корреляционной обработки принятых сигналов. Определение координат источника осуществляется по разности прихода сигналов на каждый из датчиков, а сама разность прихода определяется из положения максимума взаимно-корреляционной функции сигналов.
На показан пример взаимного расположения датчиков разностно-дальномерной системы на плоскости. d1 и d2 – расстояния между датчиками, ψ – угол, под которым пересекаются линии постоянной разности расстояний в точке расположения источника сигнала.
Выражения, связывающие координаты(в общем случае их три) источника сигнала, координаты приемных пунктов и разности расстояний имеют вид:
где 
– разность расстояний от ИРИ до i-го и j-го датчика; α - – вектор координат источника в декартовой системе координат; 
- векторы координат датчиков с номерами i или j; L – количество датчиков; 
- разности моментов прихода сигнала от источника в i-й и j-й датчик; с – скорость света.
Представим векторы координат источника радиоизлучения и пунктов наблюдения в виде 
Тогда уравнение для перепишем в виде
Из всего множества измеренных разностей времен прихода сигнала статистически независимыми оказываются лишь (L–1) разностей моментов прихода. Поэтому разности моментов прихода обычно рассчитывают относительно одного датчика, называемого центральным.
Геометрическое место точек, соответствующих одному значению информативного параметра 
, принято называть линией положения (обозначены на рис пунктирными линиями). Пересечение двух линий положения указывает на местоположение объекта. Таким образом, для получения оценки местоположения источника сигнала на плоскости разностно-дальномерная система должна состоять минимум из трех датчиков, а для оценки местоположения источника в пространстве – минимум из четырех.
Пьезоэлектрический эффект, при котором механическая энергия с приложенным давлением преобразуется в электрическую форму, называется пьезоэлектрическим эффектом. При приложении давления к поляризованному кристаллу механическая деформация приводит к возникновению электрического заряда.
Этот датчик может использоваться для создания схемы, которая реагирует на стук и включает или выключает нагрузку. Пьезочувствительный датчик представляет собой поляризованный компонент с положительными и отрицательными выводами. Красный провод – положительный вывод, а черный провод – отрицательный вывод.
Схема подключения.
Далее приведен код (скетч), который позволяет считывать прикладываемое к пьезоэлектрическому датчику физическое воздействие.
Блок формирования команды преобразует номер сектора в структурированный объект, который бы характеризовал команду пользователя. Далее этот объект передается подсистеме формирования сценариев, которая на основе его результата формирует соответствующие сценарии.
В блоке формирования команд необходимо на основании номера сектора сформировать команду. В результате работы блока формирования команд создается объект, в котором указаны объект команды и действие, например, «лампа» и «включить». Далее объект передается в подсистему управления интернет вещами. В рамках реализации прототипа в роли узла, формирующего сценарии, можно использовать ПО openHAB — средство автоматизации управления интернетом вещей. Взаимодействие с openHAB можно осуществить с помощью REST API.
Подсистема управления интернетом вещей может быть построена на базе ПК и микроконтроллеров. В данном случае представлены управление освещением, отоплением. Каждое «умное» устройство можно построить с использованием платформы Arduino на основе микроконтроллера ESP 8266, объединенного в сеть Wi-Fi с сервером выполнения команд. Сервер выполнения команд можно развернуть на ПК с установленным ПО openHAB. К этой же сети Wi-Fi подключена основная плата, реализующая распознание сектора удара и формирование команды. Для отправки команд на сервер выполнения команд можно использовать протокол HTTP. Для взаимодействия сервера выполнения команд с Internet of Things (IoT)-устройств можно использовать протокол MQTT, работающий поверх протокола TCP. Выбор протокола обусловлен его гибкостью, простотой использования, простотой адресации к устройствам.
Возможные реализуемые устройства.
1. «Умный» светильник. Представляет собой контроллер, реализующий включение и выключение светодиодного светильника при помощи подачи управляющего напряжения на реле посредством выставления логического уровня на одном из цифровых выходов.
2. «Умный» обогреватель. Представляет собой контроллер, соединенный переходной цепью с ИК-передатчиком и отправляющий команды бытовому конвектору по ИК каналу.
1.Установка системы и первичная калибровка.
2. Взаимодействие пользователя с поверхностью.
3. Анализ сигналов с пьезодатчиков системой и определение номера сектора удара.
4. Формирование команды. На основе номера сектора формируются параметры и отправляется HTTP-запрос к серверу, осуществляющему взаимодействие с интернет вещами.
5. Выполнение команды. Сервер, реализующий взаимодействие с интернет-вещами, обрабатывает http запрос, после в зависимости от сценария, указанного запросом, отправляет необходимые команды устройствам.
В ходе работы был проведен обзор существующих звуковых интерфейсов и разработана модель звукового интерфейса управления "умным домом". Она позволяет решить задачу тестирования и автоматизации помещений.
Из возможных улучшений системы можно сделать калибровку чуть сложнее - поочередно делать каждый элемент ведущим, чтобы снизить ошибку расчета скорости звука, в том числе при расчете в неоднородных поверхностях.
Также возможно усложнение звуковых взаимодействий с системой( вместо одиночных стуков, некие звуковые паттерны) и улучшение распознавания таких паттернов с помощью нейросети. Она будет записывать звуковые комбинации в формат аудиофайлов. Программа считывает аудиофайлы, и производит генерацию новых аудиофайлов путем изменения длины звуковой дорожки, а также изменение высоты, громкости. Это необходимо для увеличения количества примеров для обучающей выборки, что позволит увеличить качество распознавания нейронной сетью.
5.https://knowledge.allbest.ru/radio/3c0b65635a2ac68b5d43b88421216c37_0.html#text
Δφ