Могут ли боты распознавать эмоции в диалоге? Мы решили проверить — Сервисы на vc.ru
1506 просмотров
Всем привет! Меня зовут Олег Юшков и сегодня я от лица нашей команды TWIN расскажу о том, способен ли бот определять эмоции человека по голосу в реальном времени по телефону или в голосовом сообщении и насколько точен этот анализ.
Кратко о нас
Мы разработали омниканальную платформу для создания голосовых и чат-ботов TWIN. В течении 4 лет мы работаем над расширением функционала платформы. Если раньше боты были древовидной структурой с навигацией через кнопки либо ключевые слова, то сейчас это уже нечто большее. Одним из нововведений как раз и стала функция определения эмоций.
Что такое эмоции?
Чтобы подвести к теме, для начала нужно понять что такое эмоции и какие они могут быть? Краткий курс психологии за 2 абзаца:
1. Эмоция — психический процесс средней продолжительности, отражающий субъективное оценочное отношение к существующим или возможным ситуациям и объективному миру.
2. Учебники психологии подразумевают более сотни различных эмоций в зависимости от вида, длительности, происхождения и других факторов.
Ученые определяют некий базовый список эмоций, а всё остальные это уже производные от него. Очевидно, что список эмоций может быть огромным. Изучая различные виды эмоций я например узнал, что такое «проноя» (обратное от паранойи). В общем, точно определить каждую эмоцию, испытанную человеком, не в силах даже самым опытным и титулованным специалистам. Но все теории сходятся в одном — все эмоции можно разделить на положительные, отрицательные и нейтральные, если кратко, то:
1. К положительным относятся: удовольствие, восторг, радость, уверенность, симпатия, любовь, нежность, блаженство.
2. К негативным: злорадство, месть, горе, тревога, тоска, страх, отчаяние, гнев.
3. К нейтральным: любопытство, изумление, безразличие.
Теперь о ботах
Очевидно, что для бота задача определять все виды эмоций человека по голосу с точностью 100% в обозримом будущем нереализуема. Но! Определить эмоциональный настрой человека (положительный, отрицательный, нейтральный) — выглядит реалистичной задачей уже сейчас.Какие возможности модуль даёт нашим клиента?
В первую очередь для детекции негатива от клиентов, чтобы либо перевести диалог на живого человека, либо попытаться по специальному сценарию успокоить клиента. Также модуль можно использовать для оценки эффективности скриптов, составления отчётов, подсчёта метрик (например, об удовлетворённости клиентов общением с ботом) и построения различных графиков.
Решение
Для решения задач описанных выше было принято решение использовать два совершенно разных модуля: контекстуальный и речевой. Контекстуальный модуль ориентируется на текст, а речевой без какой-либо привязки к тексту анализирует речь человека. Чтобы добиться большей точности определения мы сразу решили использовать оба метода. Второй задачей было запустить все это в режиме реального времени.
Теперь по порядку о каждом методе и особенностях.
Первый этап
Распознавание эмоций человека по тексту (по его сообщениям)
В ходе небольшого брейншторма мы решили разработать модуль с простой рекуррентной нейронной сетью, обученной на открытых источниках данных с небольшой ручной корректировкой. Для обучения мы решили использовать датасет из набора русскоязычных постов в соцсетях (250 тыс. постов).
Что получили
Как я писал в вводной информации, мы разделили эмоции на 3 базовых вида. На основе этого и была разработана нейронная сеть, которая умеет определять 3 типа эмоций: негативные, нейтральные и позитивные. Причём нейтральным считается текст, который нельзя точно отнести к положительному или отрицательному — то есть когда текст лежит на границе двух классов эмоций (формально, нейронка умеет определять только положительные эмоции, остальные эмоции вычисляются на основе близости текста к данной эмоции). В результате получили точность распознавания 75.3% на тексте, длиной от 1 слова (большую роль играет «смысловая нагрузка» слов, а не их количество (например, маты или похвала)).
Модуль понимает многие популярные маты, однако сарказм вызывает проблемы: ) Определение сарказма — это отдельная, очень интересная задача, которую до конца решить невозможно, потому что фантазия у многих людей в этом плане очень хорошо развита.
Второй этап
Распознавание эмоций человека по тексту в режиме онлайн.
Ответы клиентов в разговоре с помощью сервиса распознавания речи переводятся в текст. Затем, данный текст отправляется в модуль обработки и понимания естественного языка, в составе которого работает модуль распознавания эмоций по тексту.
Модуль всегда возвращает однозначный результат, уверенность в ответе не подсчитывается (так как смысла в ней нет, в отличие от распознавания пола и эмоций по речи человека). В случае возникновения каких-либо проблем или если по тексту сложно определить конкретную эмоцию — будет возвращена нейтральная эмоция (как некоторый «универсальный» ответ).
Третий этап
Распознавание эмоций человека по его речи/голосу.
Следующей задачей для нас стояла разработка модуля для определения эмоций по речи человека. Модуль является уже более сложной рекуррентной нейронной сетью (добавили несколько слоёв свёртки), чем для распознавания пола, о которой мы писали в предыдущей статье. Модуль обучался на аудиозаписях разговоров с реальными людьми в разных call-центрах, проверенных и размеченных вручную. Нейронная сеть умеет определять 3 типа эмоций: негативные, нейтральные и позитивные. Точность распознавания эмоций составила:
— для аудиозаписей, длиной от 1 секунды — 79.3%
— для аудиозаписей, длиной менее 1 секунды — около 60% и ниже (в этом случае слишком мало данных для точной работы)
Модуль корректно распознаёт эмоции в практически любой речи, за исключением шёпота (на нашей практике количество разговоров с такими голосами близко к нулю, да и достаточно точно извлечь эмоции из шёпота практически невозможно). Так же модуль учитывает только различные характеристики самой речи, без учёта слов и их смысловой нагрузки.
Четвертый этап
Распознавание эмоций человека по его речи в режиме онлайн.
В самом начале поток с речью клиента анализируется детектором голосовой активности. Как только детектор определил наличие голоса — фрагмент речи записывается, до момента, пока не наступит тишина. Данный фрагмент затем отправляется в модуль распознавания эмоций человека по его речи. Если модуль распознал эмоции с уверенностью выше 70%, то этот ответ принимается и дальше используется в скрипте. Если уверенность распознавания ниже, либо модулю не удалось распознать эмоцию — ему отправляется следующий фрагмент речи, содержащий голос клиента.
Для модуля критично количество речи, отправляемой на анализ. Если длительность речи меньше 1 секунды — модуль вернёт ошибку. Чем больше речи отправлено на анализ, тем точнее будет результат (в пределах «одной» эмоции, конечно же).
Результат работы
В результате работы в течении 6 месяцев получилось разработать модуль способный определять эмоции с приемлемой точностью для наших бизнес-задач. Ниже прикрепляю пример распознавания эмоций во время звонка.
Заключение
Еще лет 5 назад подобные технологии казались чем-то фантастическим из футуристичных фильмов, сейчас же это кажется уже чем-то само собой разумеющимся.
Если у вас есть желание протестировать модуль на собственном кейсе, то мы готовы помощь с реализацией. Сейчас модуль уже доступен в нашем редакторе скриптов и может использоваться в любом месте, как в начале разговора, так и после определённого элемента скрипта. Главное при работе с модулем учитывать возможное количество речи, которое может поступить от клиента (т.е. в самом начале разговора использовать модуль нет смысла, т.к. люди редко говорят больше 1-3 слов в этот момент).
Будем рады ответить на ваши комментарии или вопросы:)
Openspace
openspace
новое
главное за неделю
фотопоток
18+
W-O-S
поиск:
Red pill
Blue pill
Jazz pill
Classic pill
Chanson pill
Sleepy pill
радио
редакция
«Странно, что это случилось со мной трезвым»
56060
25
Как получить российский паспорт, если вы не Депардье
36153
21
Поле битвы после победы
22456
29
значки список
Как получить российский паспорт, если вы не Депардье
О своей борьбе за российский паспорт Openspace рассказали эколог из Молдавии, предпринимательница из Казахстана и пилот воздушного шара из Франции.
Полина Еременко
36153 21
Не приходя в сознание…
В последнее время депутаты все чаще удивляют нас решениями, которым трудно найти логическое объяснение. Но так ли необходим разум для принятия решений? Исследования показывают, что сложные решения часто принимаются вообще без участия сознания.
Анна Фенько
17199 2
анонимка
Он копает под Вас
О халатном исполнении пресс-секретарем Президента РФ Песковым своих должностных обязанностей, граничащем с прямым вредительством.
Бдительный гражданин
10583 10
Ничего личного
Лица недели
Неделю представляют сибирский кот, бельгийские полицейские и случайная прохожая.
openspace
10424 5
Дмитрий Быков
Террорист Аль-Кабалов
О милых странностях российского терроризма.
Дмитрий Быков
14365 19
письмо в редакцию
Геополитические последствия демарша главы «Ив Роше Восток».
Леонид Лялин
4547 6
Дмитрий Камышев
Сочи хочет в Берлин
Как спасти Олимпиаду и не потерять время.
Дмитрий Камышев
3325 3
На правах рекламы
Свои университеты
Знаменитые британцы о возможностях местного образования
openspace
3658 1
0,7 литров алкоголя убивает нобелевского лауреата
Что нужно есть, чтобы поумнеть.
openspace
9413 5
ничего общего
Момент истовый
Как выглядит экстатическая сторона в религиях мира.
3745 1
нон-фикшн
Вера или власть?
Почему в наши дни религия вытесняет светскую идеологию.
Алексей Цветков
4733 4
лекция
«Успешный чиновник — тот, кто умеет решать вопросы»
Ученый общался с чиновниками три года и рассказал о том, что это за зверь такой.
Записала Мария Долгополова
6439 4
Илья Клишин
Зря смеетесь
Ответ Дмитрию Быкову, считающему, что после ухода Путина оппозиционеры станут комическими персонажами.
Илья Клишин
11955 19
тест
Умеете ли вы думать по-иностранному?
Проверьте, способны ли вы петь с чужого голоса.
openspace
12591 20
Топ-5
Ждите запрета
Где еще недозакрутили депутаты.
openspace
6283 7
Бремя русского человека
«Долгая счастливая жизнь»: очень важный фильм Бориса Хлебникова.
Антон Долин
8421 7
Пан, который попал
История о том, как из-за вывихнутого пальца пристава, бессонницы, дорожной аварии, самолета в Японию и пикировки со следователем альтиста Александра Пана упекли в психушку.
Ксения Леонова
11480 13
Генерал-газ
Что общего у секретного сирийского НИИ, разбомбленного израильской авиацией в ночь на 30 января, и смерти заложников в Театральном центре на Дубровке в 2002 году.
Алексей Алексеев
11272 4
ничего себе
Меньшинства распоясались
В каком виде протестуют жители Сан-Франциско.
openspace
7907 2
Топ-5
Судимы будете
Посмертное правосудие — от трагедии до фарса и обратно.
openspace
2358 1
«Путин — мягкий душой»
Что увидели и услышали в Волгограде европейские журналисты.
Елизавета Замыслова
4937 17
Где это было?
Попробуйте догадаться, где произошли столь выдающиеся события.
3732 10
Аутинг — оружие гея
Чего добиваются открытые геи, разоблачая скрытых.
Иван Шекин
21050 8
Олег Кашин
Случай в Сталинграде
Чем грозит выкапывание имени Сталина.
Олег Кашин
15060 17
Партия самой правильной ориентации
Openspace отвечает на вопрос, как называть «Единую Россию».
openspace
4512 7
анонимка
Раздавить либеральную гадину!
О попытках внутренних врагов подорвать единство «Единой России» и вернуть страну в лихие 90-е.
Бдительный гражданин
4495 13
Рассказ усыновителя. После суда
Мы проиграли суд, но дело не в этом. А в том, что в подобной ситуации может оказаться любой усыновитель, и государство считает это нормальным.
Даниил Желобанов
5284 1
Ничего личного
Лица недели
Неделю представляют столетний лавочник, неудачливый топ-менеджер и другие.
openspace
16562 9
лекция
А ваш работодатель следит за вами?
Почему о неприкосновенности частной жизни давно пора забыть.
Записала Мария Долгополова
11016 8
Дмитрий Быков
Поле битвы после победы
Что будет с Россией, после того как Путина не станет.
Дмитрий Быков
22456 29
назад
Главное за неделю
вперед
17-24 ноября
19 ноября 9486 18
Фотограф Сергей Новиков совершил виртуальное путешествие по российским городам с помощью сервиса «Панорамы улиц» на «Яндекс.Картах».
Пик БНС
О братьях Стругацких и пафосе бессмысленных усилий.
«До начала этого эксперимента я ездила на работу на троллейбусе»
Эксперимент с платными парковками в центре Москвы, начавшийся 1 ноября, пока привел только к недовольству жителей.
За Путина — нельзя, за геев — можно
Московская мэрия встала на скользкий путь логики.
Фотопоток
Редакция Катя Абрамкина, Антон Алейников, Тихон Базилевский, Антон Долин, |
7 удивительных фактов о науке об эмоциях [СПИСОК]
Пролить свет на внутреннюю работу нашей души
13 мая 2014 г.
(zeljkodan / Shutterstock.com)
Любовь, гнев, страх, волнение, счастье, тревожность, гордость — спектр человеческих эмоций разнообразен и постоянно растет. Но что заставляет нас так или иначе чувствовать? Как проявляются чувства и что мы можем узнать об этом? Наука всегда рядом, чтобы ответить на некоторые из этих сложных вопросов и, возможно, помочь нам быть в большей гармонии со своими чувствами.
1. ПЛОХИЕ ЧУВСТВА ПОЛЕЗНЫ ДЛЯ ВАШЕГО БЛАГОПОЛУЧИЯ. Тот, кто испытывает только положительные эмоции, рискует стать самодовольным и игнорировать действительно важные вопросы. Отрицательные эмоции совершенно естественны, и важно не подавлять их. Все дело в балансе!(VectorMine/Shutterstock.com)
2. Когда дело доходит до любви, все дело в химииЛюбовь имеет гораздо больше общего с химией, чем вы думаете. Чувство бабочек в животе или потных ладоней, когда вас кто-то влечет, на самом деле имеет научное объяснение. Высвобождаются определенные химические вещества, такие как дофамин и эндорфины, и они оказывают большое влияние на отношения, которые мы выбираем.
(бумажный рисунок KENG MERRY / Shutterstock.com)
3. ЭМОЦИИ НА САМОМ ДЕЛЕ ЯВЛЯЮТСЯ ФИЗИЧЕСКИМИСогласно исследованию, проведенному группой ученых из Финляндии, эмоции не только являются психологическим явлением, но и ощущаются вне мозга в остальных частях тела. Определенные части тела, особенно верхняя половина, сильно стимулируются во время таких эмоций, как любовь, счастье и гордость, тогда как депрессия и печаль связаны с онемением.
(Vectorium / Shutterstock.com)
4. ЭМОЦИИ ЗАРАЗИТЕЛЬНЫИсследования снова и снова доказывают, что люди бессознательно имитируют эмоции окружающих. Будь то «заражение» улыбкой или получение положительной энергии в Интернете, мы, люди, просто не можем помочь себе «ловить» эмоции от других людей.
(Антонио Гиллем / Shutterstock. com)
5. ВЫНУЖДЕННАЯ УЛЫБКА МОЖЕТ СДЕЛАТЬ ВАС СЧАСТЛИВЫМЕсли вы подкорректируете выражение своего лица, чтобы оно отражало определенную эмоцию, вы действительно начнете чувствовать эту эмоцию, как показали исследования. Когда вы счастливы, вы улыбаетесь, верно? Но это работает и в другую сторону. Если вы хотите сделать себя счастливым, все, что вам нужно сделать, это заставить свое лицо улыбнуться примерно на 30 секунд, и вы мгновенно почувствуете себя счастливее. Это так просто.
(Sasin Paraksa / Shutterstock.com)
6. ТО, ЧТО ВЫ ЧУВСТВУЕТЕ, ВСЕГДА НАПИСАНО НА ВАШЕМ ЛИЦЕ
кратковременное непроизвольное выражение эмоций. Микровыражения возникают так быстро, что их часто невозможно увидеть в реальном времени, но при записи и анализе в замедленном темпе они могут дать захватывающее представление об истинном эмоциональном состоянии человека
(R.Bordo / Shutterstock.com)
7. ЦВЕТА ВЛИЯЮТ НА ВАШЕ ЧУВСТВИЕРазличные цвета могут вызывать определенные эмоции из-за того, что мы ассоциируем с этими оттенками природы. Например, синий – очень успокаивающий цвет и способствует расслаблению, поскольку он ассоциируется с океаном, тогда как желтый считается радостным и ярким цветом из-за его связи с солнцем.
(popovartem.com / Shutterstock.com)
СВЯЗАННЫЕ:
7 Умопомрачительных фактов, которые развеивают тайну любви [СПИСОК]
Музыкальный праздник науки
Интерактивное путешествие эмоций звука
Что такое эмоциональный дизайн? | ИксДФ
Вот вся литература по UX по Эмоциональный дизайн Interaction Design Foundation, собранные в одном месте:
Взаимодействие с пользователем и дизайн взаимодействия
Я открываю глаза. Сочный свет заливает комнату, щебечут птицы. Сейчас только 6:30 утра, но я чувствую себя хорошо-отдохнувшим Глава 9 книги0005
Самоактуализация: иерархия потребностей Маслоу
Вещи, которые мы используем и потребляем, могут удовлетворять первые четыре уровня потребностей в иерархии потребностей Маслоу, но они не будут
- 1,1 тыс. акций
- 2 года назад
Наши три мозга — Рептильный мозг
Неврология дала много важных сведений как о структуре, так и о функциях человеческого мозга. Один из мос
- 1,1 тыс. акций
- 2 года назад
Три уровня дизайна Нормана
В человеческом уме есть множество областей, ответственных за то, что мы называем эмоциями; в совокупности эти регионы составляют
- 1к акций
- 2 года назад
Уважение: иерархия потребностей Маслоу
Потребности в уважении включают в себя уверенность, силу, веру в себя, личное и общественное признание и уважение со стороны других. Эти
- 957 акций
- 2 года назад
Концепция «Триединого мозга»
В 1960-х годах американский нейробиолог Пол Маклин сформулировал модель «Триединого мозга», основанную на разделении
- 952 акции
- 2 года назад
Наши три мозга — Эмоциональный мозг
В 1952 году Пол Маклин ввел термин «лимбическая система», который относится к взаимосвязанным структурам мозга, отвечающим за
- 914 акций
- 2 года назад
Рефлексивный уровень эмоционального дизайна
«Очевидно, что есть некоторые продукты, у которых мало шансов когда-либо стать символом в жизни людей, подобно Ethernet-маршрутизатору.
- 789 акций
- 2 года назад
Эмоциональные вычисления
Поскольку взаимодействие человека с компьютером (HCI) и дизайн взаимодействия перешли от разработки и оценки приложений, ориентированных на работу Глава книги
Создание эмоциональных связей
Люди формируют эмоциональные связи и ассоциации с вещами, которые они используют и с которыми сталкиваются на протяжении всей своей жизни. Тес
- 759 акций
- 2 года назад
Эмоции и дизайн веб-сайта
Эта глава посвящена гедонистическим или аффективным элементам (сноска 1) дизайна веб-сайта и возможностям такого дизайна Глава книги
Наши три мозга — рациональный мозг
Модель триединого мозга может быть не совсем точным описанием человеческого мозга и его развития, но концепция
- 651 акция
- 2 года назад
Рептильный мозг: эмоции и дизайн
Мозг рептилий Человеческий мозг, возможно, развился, чтобы наделить нас способностями, далеко недоступными другим животным.
- 589 акций
- 2 года назад
Эстетика и форма должны держаться за руки
В этой статье рассматриваются две тесно связанные идеи, касающиеся внешности. Наш мир дизайна вращается вокруг красивых изображений.
- 587 акций
- 2 года назад
Использование истории и эмоций в геймификации
Проекты геймификации могут извлечь выгоду из функций повествования; эти особенности могут помочь вызвать эмоциональные связи с
- 585 акций
- 2 года назад
Эмоции и дизайн
Факторы, характерные для вещей, которые мы используем в повседневной жизни, влияют на то, как мы себя чувствуем, когда их используем.