Голосовой интерфейс. Преимущества и недостатки голосовых интерфейсов

С появлением голосовых пользовательских интерфейсов, каково будущее графических ? В каких ситуациях лучше использовать голосовой и графический интерфейс? В этой статье вы получите ответы на данные вопросы.

Наши первичные датчики

Наш мозг - это машина для обработки изображений. Мы можем понять сложную информацию быстрее, когда видим ее. Мы поглощаем большую часть информации с помощью нашего зрения. Короче говоря, наши глаза - наши первичные датчики.

Наши уши являются вторыми по важности датчиками. И в некоторых ситуациях голосовой разговор является очень эффективным каналом связи. Представьте себе на мгновение простой опыт покупок. Заказать вашу любимую пиццу намного проще, если вы просто назовете ее и закажете, вместо того чтобы проходить через все различные предложения на сайте. Но в более сложной ситуации недостаточно полагаться только на вербальное общение. Например, вы бы купили платье, не увидев его в первую очередь? Конечно, нет. Пользовательские интерфейсы все больше будут адаптироваться к нашим датчикам.

Наши глаза и уши - основные входные датчики. Мы очень хорошо разбираемся в распознавании образов и обработке изображений. Это означает, что мы можем обрабатывать сложную информацию быстрее визуально. С другой стороны, время реакции на звук быстрее, поэтому голос является хорошим вариантом для предупреждений.

Наш рот - самое эффективное устройство вывода. Потому что большинство людей могут говорить быстрее, чем они печатают или пишут.

Поскольку люди хорошо сочетают разные каналы, это приведет к тому, что компьютеры будут использовать мультимодальные интерфейсы для адаптации к возможностям человека. Интерфейсы будут адаптироваться к людям, используя среду и формат сообщений, наиболее удобный для людей в данной ситуации. Давайте рассмотрим некоторые примеры.

Чат-боты

Для базовой связи чат более эффективен, чем традиционные пользовательские интерфейсы. С помощью него продавцы и покупатели могут найти друг друга и обсудить различные сделки. В этом случае чат является оптимальным из-за общения «один на один». Но когда дело доходит до более сложного взаимодействия, например, для сравнения большого количества товаров, нам нужен более продвинутый пользовательский интерфейс. В этом случае добавляется возможность голосового общения с менеджером: позвонить в чате.

Цифровые помощники

Например, готовить на кухне и говорить «Красный перец Чили» проще, чем прокручивать каталог руками. С голосовым интерфейсом вы сможете автоматически добавить что-то в свой список покупок. Вам показываются продукты и голосом вы выбираете те, которые вам нравятся.

Когда пользователь находится на кухне и руки заняты, использование голосового управления - удобнее, чем прикосновение к экрану. Голосовой интерфейс – отличная функция и будет обязательной в будущих продуктах.

Для мультимодальных интерфейсов важно поддерживать синхронизацию голосовых и визуальных выходов. В противном случае люди легко запутаются. Например, когда мы разговариваем с кем-то, мы можем легко посмотреть на их лицо, чтобы узнать, получили ли они наше сообщение. В случае с мультимодальным интерфейсом мы захотим сделать то же самое, когда говорим с продуктом. Это нужно учитывать при разработки смешанных интерфейсов.

Приложение для здоровья

Например, приложение для измерения расстояния между зрачками для людей, которые носят очки (PD Measure). Это хороший пример объединения визуальных и голосовых интерфейсов.

Любой клиент должен знать данное расстояние, чтобы купить очки онлайн. Если они не знают, тогда им придется пойти в розничный магазин и измерить там. Инструмент измерения, доступный для любого пользователя, открывает огромный рынок онлайн-оптики.

С помощью такого приложения клиент сможет встать перед зеркалом и фотографировать себя, держа свой телефон в определенном положении и следуя точным инструкциям. Затем приложение автоматически вычисляет расстояние между зрачками. Этого достаточно, чтобы сделать онлайн-заказ.

***

Давайте подытожим, когда лучше использовать голос, а когда использовать визуальный пользовательский интерфейс.

Визуальные пользовательские интерфейсы работают лучше в следующих ситуация:

• списки с большим количеством предметов (где чтение всех предметов вслух займет слишком много времени);
• сложная информация (графики, диаграммы и данные со многими атрибутами);
• вещи, которые вы должны сравнить;
• продукты, которые вы хотели бы видеть перед покупкой;
• информация о состоянии, которую вы хотели бы периодически проверять (время, таймер, скорость и т. д.).

• команды (т.е. любая ситуация, в которой вы точно знаете, что хотите. Чтобы вы могли пропустить навигацию и просто диктовать свою команду);
• инструкции пользователям. Поскольку люди склонны следовать голосовым инструкциям лучше, чем письменным инструкциям;
• звуковая обратная связь для успешных ситуаций и ситуаций с ошибками, с разными сигналами;
• предупреждения и уведомления (потому что время реакции на голос быстрее);
• простые вопросы, которые требуют относительно простых ответов.

Несколько советов для работы с мультимодальными интерфейсами:

• Синхронизация голосовых и визуальных интерфейсов. Всегда имейте визуальную обратную связь о том, что происходит.
• Показывайте визуальные индикаторы, когда устройство прослушивает или думает об ответе.
• Выделите слова голосовой команды в графическом интерфейсе.
• Задайте правильные ожидания пользователей о возможностях интерфейса и убедитесь, что продукт объясняет, как он работает.
• Продукт должен знать о контексте разговора и должен отвечать соответствующим образом.
• Не игнорируйте безопасность и конфиденциальность. Разрешите людям отключать компоненты (например, микрофон).
• Не читайте длинные аудиомонологи. Если он не может быть кратко изложен в нескольких словах, отобразите его на экране.
• Потратьте время, чтобы понять специфику каждой платформы и выбрать правильный вариант.

Заключение

В будущем голосовой интерфейс станет обычным явлением. Новый интерфейс не означает, что мы должны игнорировать все, что успешно применяли к графическим интерфейсам. Произойдет объединение графических и голосовых интерфейсов, как более человечный способ общения между пользователем и компьютером.

Подобная мультимодальная эволюция уже происходила раньше. Радио и немые фильмы были объединены в фильмы, которые дополнительно улучшены с помощью 3D и т.д. В скором времени этот процесс произойдет и в интерактивном цифровом мире.

Голосовой интерфейс (или «голосовой интерфейс пользователя») при помощи голосовой\речевой платформы делает возможным взаимодействие человека и компьютера для запуска автоматизированного сервиса или процесса.

Ранее контролировать устройство при помощи голоса было возможно только в научной фантастике . До недавнего времени считалось областью искусственного интеллекта . Тем не менее, с развитием технологий ГИ стал всё более распространённым, человек всё чаще пользуется преимуществами этой бесконтактной технологии.

Однако, использование ГИ имеет свои сложности. Люди с малой долей терпения относятся к «машине, которая не понимает». Следовательно, ГИ должен работать почти безошибочно, а значит, стабильно реагировать на входные данные, иначе пользователи не будут применять ГИ, либо ГИ станет объектом насмешек. Для того, чтобы создать стоящий голосовой интерфейс, необходимы междисциплинарные знания в информатике , лингвистике и психологии - дорогостоящие навыки, которые нелегко приобрести. Даже при наличии продвинутых средств разработки, создавая эффективный ГИ, нужно отдавать себе отчёт в том, какие задачи будет выполнять ГИ, и на какую целевую аудиторию он ориентирован. Чем лучше ГИ будет подходить под когнитивную модель задания пользователя, тем легче будет использовать ГИ без или с минимальным обучением, что повысит его эффективность и степень удовлетворённости пользователей.

Очень важны особенности целевой аудитории. К примеру, создавая ГИ для широкой публики, нужно уделить особое внимание простоте использования и большому количеству инструкций и подсказок для начинающих. В то время, как придумывая ГИ для небольшой группы продвинутых пользователей (в том числе для техподдержки), нужно больше думать о продуктивности, чем о подсказках и инструкциях. Такие приложения должны систематизировать обработку вызовов, минимизировать количество подсказок, устранить ненужные повторения, использовать принцип «смешанной инициативы», который позволит звонящему вносить разные типы информации в одном высказывании и в любом порядке или комбинации. Иными словами, ГИ должен быть специально создан для конкретных технологических процессов, которые нужно автоматизировать.

Голосовой интерфейс подойдёт не для каждого технологического процесса. В общем, чем более многогранны запросы и операции, тем сложнее их будет автоматизировать, и тем большая существует вероятность, что ГИ не подойдет для использования широкой публикой. В некоторых случаях, автоматизация процесса в принципе невозможна, поэтому единственный выход - использование консультанта-человека. К примеру, будет очень сложно автоматизировать горячую линию юридической поддержки. С другой стороны, ГИ прекрасно подойдёт для обработки быстрых и однообразных операций, таких как изменение статуса заказа, заполнение графы «время» или «стоимость», или перевод средств между счетами.

Энциклопедичный YouTube

1 / 2

Yandex.SpeechKit - комплекс речевых технологий Яндекса

Субтитры

Дальнейшее использование

В карманных устройствах, таких как КПК или мобильные телефоны , для ввода информации используются маленькие кнопки, которые либо встроены в гаджет, либо являются частью интерфейса с сенсорным экраном, как на Apple iPod Touch или iPhone . Постоянно нажимать на кнопки таких девайсов утомительно, к тому же может привести к ошибкам, поэтому лёгкий в использовании, точный и надёжный голосовой интерфейс мог бы стать глобальным прорывом в использовании карманных устройств. Кроме того, ГИ мог бы стать эффективным в использовании ноутбуков и стационарных компьютеров, так как решил бы проблемы, связанные с использованием клавиатуры и мыши , в том числе травмы, связанные с постоянными нагрузками, такие как синдром запястного канала , а также устранил бы препятствие в виде низкой скорости печати, что важно для начинающих пользователей. Более того, если вы используете клавиатуру, то это предполагает, что постоянно находитесь перед монитором, в то время, как голосовой интерфейс позволяет вам свободно передвигаться, так как голосовой ввод информации совсем не подразумевает, что вы будете смотреть на клавиатуру.

Такие усовершенствования буквально изменят дизайн устройств, а также полностью преобразят взаимодействие с ними. Экраны мобильных устройств станут больше, так как клавиатура больше будет не нужна. На сенсорных аппаратах будет не нужно делить дисплей на содержимое и на экранную клавиатуру, а значит, информацию можно будет просматривать в полный экран. Ноутбуки фактически уменьшатся вдвое, так как клавиатура будет ни к чему, все внутренние компоненты поместятся за дисплеем, следовательно, ноутбук просто превратится в планшетный компьютер . Стационарный компьютер состоял бы из системного блока и монитора, а место на рабочем столе, занимаемое простой клавиатурой, а также клавиатурой выдвигаемой, освободилось бы. Пульты дистанционного управления телевизором, панели управления на десятках устройств - от микроволновой печи до копировального аппарата - также стали бы не нужны.

Тем не менее, пришлось бы преодолеть большое количество проблем, чтобы претворить ГИ в жизнь. Во-первых, ГИ должен быть настолько хорошо устроен, чтобы различать голосовые команды и обычный разговор; в противном случае будет зафиксирован неверный ввод данных, и устройство отреагирует ошибочно. Стандартная реплика «Компьютер!» как говорят персонажи известной научно-фантастических киноэпопеи «Звёздный путь », могла бы активировать ГИ и подготовить устройство принять информацию того же говорящего. Предположительно, ГИ мог бы иметь человеческий облик: голос или экранный персонаж, который бы, например, мог отвечать и поддерживать диалог для уточнения запроса пользователя.

Во-вторых, ГИ мог бы взаимодействовать с высокотехнологичным программным обеспечением, чтобы тщательно обработать и найти (получить) информацию, или осуществить действие в соответствии с преференциями пользователя. К примеру, если вам нужна информация из определённой газеты и в виде списка, то вы можете сказать: «Компьютер, найди информацию о прошедшем вчера наводнении на юге Китая», а в ответ ГИ, учитывая преференции, «найдёт» факты о «наводнении» на «юге Китая» из нужного источника, преобразует в форму списка и представит на экране или в звуковой форме, приведя цитату. Таким образом, будет необходим точный механизм распознавания речи, с некоторой долей искусственного интеллекта по части устройства ГИ.

Голосовой интерфейс для взаимодействия с компьютером – давно не новость. Он годами присутствует, к примеру, в дистрибутивах Windows. Вот только пользоваться им, как показывает опыт немногочисленных пытливых исследователей, пока не слишком удобно.

Как быть слабовидящим и слепым, которые хотели бы воспользоваться теми возможностями, что готовы предоставить им персональные высокотехнологичные устройства? Ведь голосовой интерфейс, доступный в доминирующих на рынке ОС и приложениях, объективно далёк от совершенства. Иногда остаётся единственная опция: хочешь, чтобы дело было сделано хорошо, – берись за него сам .

Именно по такому пути пошёл Ти Ви Раман (T. V. – его инициалы; этот компьютерный инженер родом из Индии предпочитает использовать именно их вместо сложного для восприятия на Западе имени), потерявший зрение в 14-летнем возрасте из-за глаукомы. Огромным везением для мальчика оказалось то, что родился и учился он в Пуне, расположенном в 160 км от Бомбея (который уже несколько лет как Мумбай) «городе университетов».

При помощи родственников и учителей Ти Ви смог не просто закончить школу, но и поступить в местный университет, и в 1987 г. получить звание бакалавра математики. Затем он продолжил обучение в Бомбее, а после и в Корнельском университете США.

Одарённый слепой студент, лишённый возможности пользоваться записями, относился к учёбе , чем многие его прекрасно видящие сокурсники. И не только к учёбе: его личный рекорд по сборке кубика Рубика (не с цветовой разметкой, разумеется, а с литерами шрифта Брайля на перемещаемых элементах) составляет 23 секунды.

В США Ти Ви работал над различными вариантами организации голосового взаимодействия человека и компьютера с 1991 года. Сперва в исследовательском центре Xerox в Пало Альто, затем в лаборатории Intel, в кембриджском центре Digital Equipment Corporation, в составе Группы перспективных технологий Adobe Systems и в исследовательском центре IBM Research. В 2005-м перешёл на работу в Google.

К этому времени на счету Ти Ви было уже несколько разработок, позволявших людям с серьёзными ограничениями по зрению (и ему самому, в первую очередь) активно взаимодействовать с компьютером. В их числе – AsTeR , аудиоинтерфейс для эффективного «зачитывания» компьютерной системой вслух сложных математических формул; полноценный голосовой «Рабочий стол» , построенный на базе популярного среди пользователей *NIX/Linux текстового редактора Emacs; глубоко проработанная методика голосового представления веб-документов XHTML+Voice , и не только.

В Google Ти Ви работал над голосовой версией интерфейса поисковой машины, а в настоящее время занят модификацией такого сверхпопулярного в наши дни устройства, как коммуникатор с чувствительным к касаниям экраном, для нужд слабовидящих людей.

Оказывается, отсутствие явственно нащупываемых кнопок на управляющей поверхности таких устройств можно из очевидного недостатка прекратить в достоинство. К примеру, несложная утилита позволяет, если коммуникатор переведён в режим ручного набора номера, воспринимать зону первого прикосновения к экрану как местоположение виртуальной клавиши «5», центральной на цифровой клавиатуре. Ориентируясь на стандартный для кнопочных телефонов размер клавиш и стандартное же их расположение, несложно затем набрать любой номер, а последующая голосовая верификация позволит удостовериться в его правильности.

Технологии голосового взаимодействия с цифровыми устройствами, вышедшие на новый уровень своего развития, смогут помочь не только слепым. В частности, внимательное отслеживание видеокамерой того же коммуникатора дорожных знаков и звучное предупреждение об их наличии и значении здорово помогло бы начинающим водителям – либо тем, кто ощущает себя неуверенно, впервые оказываясь на незнакомой трассе.

Во многих фантастических фильмах и книгах один из главных героев - это компьютер. Он, как правило, не просто выполняет вычисления - скажем, прокладывает маршрут для космического корабля, - но и общается с героями-людьми как живой собеседник.

В основе такого общения лежит голосовой интерфейс - концепция, которая, в отличие от машины времени и других фантастических вещей, уже стала реальностью. Голосом, например, можно вводить запросы в поисковик или адреса в навигатор - это удобно, когда заняты руки.

Ядро любого голосового интерфейса - это технология распознавания речи. Однако для полноценного «общения» с человеком машине мало уметь правильно распознавать сказанные вслух слова. Чтобы походить на живого собеседника, компьютер должен понимать, что к нему обращаются, уметь улавливать суть сказанного и озвучивать ответы.

У Яндекса есть собственная система распознавания речи - . Она используется как в сервисах Яндекса - например, Навигаторе, - так и в продуктах сторонних разработчиков. SpeechKit умеет включаться по голосовой команде понимает смысл слов, а также не только слушает пользователя, но и отвечает ему - с помощью технологии синтеза речи. Практически как настоящий собседник.

Когда вы хотите что-то сказать конкретному человеку, вы называете его по имени. Это своего рода условный сигнал: «Эй! То, что я сейчас скажу, адресовано тебе и только тебе». В Yandex SpeechKit таким сигналом выступает команда голосовой активации. Командой может служить любое слово или фраза - всё зависит от фантазии разработчика.

Когда пользователь произносит команду, компьютер переходит в режим распознавания - так как понимает: всё, что будет сказано в дальнейшем, предназначено ему. Нажимать кнопки не нужно, достаточно сказать кодовую фразу.

Голосовая активация в Yandex SpeechKit, по сути, представляет собой систему распознавания речи в миниатюре. Система запускается прямо на устройстве и не требует доступа в интернет. Она анализирует весь входящий звуковой поток на предмет наличия речи, и, если речь обнаружена, начинает искать в ней кодовую фразу. Такой подход позволяет сэкономить заряд батареи в смартфоне или планшете.

Выделение смысловых объектов

Представьте, что вы услышали фразу «В Москве сегодня семь градусов тепла». Вам без дополнительных объяснений понятно, что «Москва» - это город, «сегодня» - это 30 октября, а «семь градусов» - это температура воздуха. Иначе говоря, вы умеете извлекать из слов смысл.

В этом умении человек оставляет компьютер далеко позади, но кое-чему научить машину всё же можно. Мы добавили в Yandex SpeechKit технологию выделения в распознанном тексте смысловых объектов. Такими объектами могут быть дата и время, имена и фамилии или адреса.

Технология позволяет управлять компьютером или смартфоном простыми фразами, которые не нужно запоминать специально. Например, «Поставь будильник на семь утра» или «Поехали на улицу Льва Толстого, дом 16». Фраза может звучать по-разному - система поймёт, что «Набери номер Ивана Ивановича» и «Позвони Ивану Ивановичу» - это одно и то же. Yandex SpeechKit умеет анализировать контекст и поэтому уяснит, что во фразе «Позвони Владимиру» имеется в виду человек, а во фразе «Поехали во Владимир» - город.

Синтез речи

Хороший собеседник умеет не только слушать, но и отвечать. Поэтому в Yandex SpeechKit теперь есть технология синтеза речи - она позволяет компьютеру проговаривать текст вслух. Например, может рассказать про себя сама:

Синтез речи - это задача, обратная распознаванию речи. В случае с распознаванием система получает звук, который надо преобразовать в текст, а в случае с синтезом - текст, который надо озвучить.

К синтезу речи существуют разные подходы. Один из них предполагает запись диктором отдельных фрагментов (сэмплов), из которых впоследствии «склеивается» речь. Такой подход трудоёмок, а кроме того, синтезированная таким способом речь звучит неестественно: обрывисто и с паузами в самых неожиданных местах.

Стоит подумать о том, как было бы здорово управлять компьютером и прочими цифровыми девайсами исключительно голосом, как в уме тут же возникает образ разумного компьютера HAL 9000 из фильма Стэнли Кубрика «2001: Космическая Одиссея». Его голос вдохновляет и будоражит до сих пор.

И хотя идея создания искусственного интеллекта была скомпрометирована в массовом сознании такими блокбастерами, как «Терминатор» или даже недавним «Превосходством» с незабвенным Джонни Деппом в главной роли, все же программисты и девелоперы по всему миру не оставляют попыток создать нечто подобное, что и по сей день существует лишь в воображении сценаристов и режиссеров.

Предсказания, сделанные Артуром Ч. Кларком (Arthur Clarke) и столь правдоподобно воплощенные в культовой ленте Кубриком, хоть и не успели осуществиться к 2001 году, но, по словам основателя Expect Labs Тима Таттла (Tim Tuttle), технологиям голосового интерфейса в течение ближайших двух лет будет уделено пристальное внимание разработчиков, и процесс ускорится в десятки раз.

Платформа голосового интерфейса MindMeld, созданная самой Expect Labs, уже успешно применяется программистами для встраивания голосового взаимодействия в разного рода программы и мобильные приложения. Таттл без тени скромности заявляет, что такого рода интерфейс, в отличие от созданных ранее систем, является наиболее дружелюбным для конечного пользователя. Сегодня MindMeld выходит на рынок, на котором уже доминируют системы Google Now и Siri, но такая жесткая конкуренция просто доказывает неизбежность того, что совсем скоро управлять техникой своим голосом станет делом привычным.

Многие компании уже тратят миллионы долларов на разработку и внедрение в систему пользовательского взаимодействия с продуктом возможности речевого управления: для некоторых категорий товаров это и впрямь оказалось бы полезной находкой. Смартфоны — довольно избитый пример, а вот голосовое управление автомобилем Ford с помощью системы Sync — уже интересно: голосом вы можете включить музыку или запросить дорогу у GPS-навигатора. Голосовые технологии добрались даже до последних поколений приставок: с помощью Kinect вы можете управлять своим Xbox one, — а в 2011 году издание Bloomberg Business уже говорило о конце эры пультов от телевизоров.

Доступность

Если говорить об адаптивности голосового интерфейса к различным платформам, то уже сегодня можно легко заметить, что подобные технологии не имеют каких-либо существенных ограничений: они легко приживаются как на Android и iOS, так и на .

Кроме того, Консорциум Всемирной Паутины (World Wide Web Consortium (W3C)) разработал ряд предложений по улучшению сайтов, включающий в себя также и альтернативный текст для изображений, который может быть понят современными программами чтения с экрана. Совершенно очевидно, что такие программы, как Nuance’s Dragon, найдут отклик у тех пользователей, которые не могут работать с клавиатурой и мышью. Подобные решения позволяют им выполнять все распространенные операции (поиск информации, работа с текстовыми документами) без рук.

По этим и многим другим причинам голосовое управление становится вполне достижимым в уже обозримом будущем: user experience будущего уже нельзя будет представить без возможности речевого взаимодействия. Однако, остается открытым вопрос, который еще десять лет назад, вызвал бы только улыбку: какой голос должен быть у компьютера?

Одной из причин, почему разработчики наделяют свои творения голосом более роботизированным, нежели человеческим, является так называемая концепция «зловещей долины» (The uncanny valley). Эта концепция была предложена в 1970 году японским робототехником Масахиро Мори (Dr. Masahiro Mori), и именно эта идея лежит в основе современной коммуникации между компьютером и человеком.

Схематическое изображение «зловещей долины». Чем сильнее сходство роботов с людьми, тем большую симпатию они вызывают у последних, но ровно до того момента, когда роботы начинают напоминать живых мертвецов: тогда симпатия уступает место страху.

Суть этой концепции в том, что по мере эволюции машин симпатия к ним людей будет только расти, но лишь до определенного предела. Как только роботы станут очень сильно похожи на людей, симпатия резко сменится страхом и неприязнью. В теории, если сходство продолжит рост, то симпатия вновь вернется, но это промежуточное состояние, когда роботы похожи на передвигающихся мертвецов и не вызывают ничего, кроме страха, и называется «зловещей долиной». Этот термин отражает естественную для нас неприязнь к человекоподобным роботам. В то же время эта теория описывает внешний вид тех роботов, которые вызывают у нас чувство умиления (яркий пример, робот WALL-E).

В недавней статье Николаса Боумана (Nicholas Bowman), опубликованной в издании Ux Booth, автор приходит к мысли, что эта концепция может сработать и в области голосового взаимодействия. Интерфейс голосового взаимодействия, который реализован в Siri, создает у пользователя чувство близкого контакта с устройством, и во многом это можно объяснить тем, что вся интеракция строится на привычной нам речи. Мы слышим голос робота и тут же приписываем устройству какие-то человеческие черты. Это неотъемлемая особенность каждого из нас, так мы выстраиваем связи с внешним миром. Очевидно, что Siri далеко не человек, но в программе реализовано то, что ее делает похожим на людей: например, юмор.

Таким образом, Apple удалось пройти по узкой грани: сделать Siri похожим на человека, но не настолько, чтобы мы все решили, будто бы с нами и впрямь разговаривает живая женщина. Мы все стремимся к идеальному интерфейсу, но приемлемым для нас он будет только тогда, когда останется роботизированным.