Могут ли боты распознавать эмоции в диалоге? Мы решили проверить — Сервисы на vc.ru
1613 просмотров
Всем привет! Меня зовут Олег Юшков и сегодня я от лица нашей команды TWIN расскажу о том, способен ли бот определять эмоции человека по голосу в реальном времени по телефону или в голосовом сообщении и насколько точен этот анализ.
Кратко о нас
Мы разработали омниканальную платформу для создания голосовых и чат-ботов TWIN. В течении 4 лет мы работаем над расширением функционала платформы. Если раньше боты были древовидной структурой с навигацией через кнопки либо ключевые слова, то сейчас это уже нечто большее. Одним из нововведений как раз и стала функция определения эмоций.
Что такое эмоции?
Чтобы подвести к теме, для начала нужно понять что такое эмоции и какие они могут быть? Краткий курс психологии за 2 абзаца:
1. Эмоция — психический процесс средней продолжительности, отражающий субъективное оценочное отношение к существующим или возможным ситуациям и объективному миру.
2. Учебники психологии подразумевают более сотни различных эмоций в зависимости от вида, длительности, происхождения и других факторов.
Ученые определяют некий базовый список эмоций, а всё остальные это уже производные от него. Очевидно, что список эмоций может быть огромным. Изучая различные виды эмоций я например узнал, что такое «проноя» (обратное от паранойи). В общем, точно определить каждую эмоцию, испытанную человеком, не в силах даже самым опытным и титулованным специалистам. Но все теории сходятся в одном — все эмоции можно разделить на положительные, отрицательные и нейтральные, если кратко, то:
1. К положительным относятся: удовольствие, восторг, радость, уверенность, симпатия, любовь, нежность, блаженство.
2. К негативным: злорадство, месть, горе, тревога, тоска, страх, отчаяние, гнев.
3. К нейтральным: любопытство, изумление, безразличие.
Теперь о ботах
Очевидно, что для бота задача определять все виды эмоций человека по голосу с точностью 100% в обозримом будущем нереализуема.
Но! Определить эмоциональный настрой человека (положительный, отрицательный, нейтральный) — выглядит реалистичной задачей уже сейчас.Какие возможности модуль даёт нашим клиента?
В первую очередь для детекции негатива от клиентов, чтобы либо перевести диалог на живого человека, либо попытаться по специальному сценарию успокоить клиента. Также модуль можно использовать для оценки эффективности скриптов, составления отчётов, подсчёта метрик (например, об удовлетворённости клиентов общением с ботом) и построения различных графиков.
Решение
Для решения задач описанных выше было принято решение использовать два совершенно разных модуля: контекстуальный и речевой. Контекстуальный модуль ориентируется на текст, а речевой без какой-либо привязки к тексту анализирует речь человека. Чтобы добиться большей точности определения мы сразу решили использовать оба метода. Второй задачей было запустить все это в режиме реального времени.
Теперь по порядку о каждом методе и особенностях.
Первый этап
Распознавание эмоций человека по тексту (по его сообщениям)
В ходе небольшого брейншторма мы решили разработать модуль с простой рекуррентной нейронной сетью, обученной на открытых источниках данных с небольшой ручной корректировкой. Для обучения мы решили использовать датасет из набора русскоязычных постов в соцсетях (250 тыс. постов).
Что получили
Как я писал в вводной информации, мы разделили эмоции на 3 базовых вида. На основе этого и была разработана нейронная сеть, которая умеет определять 3 типа эмоций: негативные, нейтральные и позитивные. Причём нейтральным считается текст, который нельзя точно отнести к положительному или отрицательному — то есть когда текст лежит на границе двух классов эмоций (формально, нейронка умеет определять только положительные эмоции, остальные эмоции вычисляются на основе близости текста к данной эмоции). В результате получили точность распознавания 75.3% на тексте, длиной от 1 слова (большую роль играет «смысловая нагрузка» слов, а не их количество (например, маты или похвала)).
Модуль понимает многие популярные маты, однако сарказм вызывает проблемы: ) Определение сарказма — это отдельная, очень интересная задача, которую до конца решить невозможно, потому что фантазия у многих людей в этом плане очень хорошо развита.
Второй этап
Распознавание эмоций человека по тексту в режиме онлайн.
Ответы клиентов в разговоре с помощью сервиса распознавания речи переводятся в текст. Затем, данный текст отправляется в модуль обработки и понимания естественного языка, в составе которого работает модуль распознавания эмоций по тексту.
Модуль всегда возвращает однозначный результат, уверенность в ответе не подсчитывается (так как смысла в ней нет, в отличие от распознавания пола и эмоций по речи человека). В случае возникновения каких-либо проблем или если по тексту сложно определить конкретную эмоцию — будет возвращена нейтральная эмоция (как некоторый «универсальный» ответ).
Третий этап
Распознавание эмоций человека по его речи/голосу.
Следующей задачей для нас стояла разработка модуля для определения эмоций по речи человека. Модуль является уже более сложной рекуррентной нейронной сетью (добавили несколько слоёв свёртки), чем для распознавания пола, о которой мы писали в предыдущей статье. Модуль обучался на аудиозаписях разговоров с реальными людьми в разных call-центрах, проверенных и размеченных вручную. Нейронная сеть умеет определять 3 типа эмоций: негативные, нейтральные и позитивные. Точность распознавания эмоций составила:
— для аудиозаписей, длиной от 1 секунды — 79.3%
— для аудиозаписей, длиной менее 1 секунды — около 60% и ниже (в этом случае слишком мало данных для точной работы)
Модуль корректно распознаёт эмоции в практически любой речи, за исключением шёпота (на нашей практике количество разговоров с такими голосами близко к нулю, да и достаточно точно извлечь эмоции из шёпота практически невозможно). Так же модуль учитывает только различные характеристики самой речи, без учёта слов и их смысловой нагрузки.
Четвертый этап
Распознавание эмоций человека по его речи в режиме онлайн.
В самом начале поток с речью клиента анализируется детектором голосовой активности. Как только детектор определил наличие голоса — фрагмент речи записывается, до момента, пока не наступит тишина. Данный фрагмент затем отправляется в модуль распознавания эмоций человека по его речи. Если модуль распознал эмоции с уверенностью выше 70%, то этот ответ принимается и дальше используется в скрипте. Если уверенность распознавания ниже, либо модулю не удалось распознать эмоцию — ему отправляется следующий фрагмент речи, содержащий голос клиента.
Для модуля критично количество речи, отправляемой на анализ. Если длительность речи меньше 1 секунды — модуль вернёт ошибку. Чем больше речи отправлено на анализ, тем точнее будет результат (в пределах «одной» эмоции, конечно же).
Результат работы
В результате работы в течении 6 месяцев получилось разработать модуль способный определять эмоции с приемлемой точностью для наших бизнес-задач.
Заключение
Еще лет 5 назад подобные технологии казались чем-то фантастическим из футуристичных фильмов, сейчас же это кажется уже чем-то само собой разумеющимся.
Если у вас есть желание протестировать модуль на собственном кейсе, то мы готовы помощь с реализацией. Сейчас модуль уже доступен в нашем редакторе скриптов и может использоваться в любом месте, как в начале разговора, так и после определённого элемента скрипта. Главное при работе с модулем учитывать возможное количество речи, которое может поступить от клиента (т.е. в самом начале разговора использовать модуль нет смысла, т.к. люди редко говорят больше 1-3 слов в этот момент).
Будем рады ответить на ваши комментарии или вопросы:)
Сила эмоций в маркетинге | Анастасия Щ | Стартап
Опубликовано в
·
Чтение: 4 мин.
·
5 ноября 2018 г.
Люди покупают не ваш продукт, а обещание того, что они будут чувствовать с вашим продуктом. Подсознательно мы стремимся улучшить свою жизнь даже с помощью повседневных продуктов, таких как йогурт или зубная паста. Именно поэтому вы видите людей в рекламе йогуртов такими веселыми и полными радости, и вы не покупаете молочный коктейль со вкусом клубники — вы покупаете обещание счастья.
Эмоции сложны, и они развивались годами, адаптируясь к меняющейся социальной среде. Хотя некоторые ученые считают, что весь эмоциональный спектр можно свести всего к 4 базовым эмоциям, специалисты по маркетингу используют гораздо более широкий список эмоций.
Это 7 сильных эмоций, к которым вы можете обратиться в своем маркетинговом сообщении.
Если вы посмотрите на пирамиду, иллюстрирующую иерархию потребностей Маслоу, и сопоставите ее с эмоциями, счастье окажется наверху. Погоня за счастьем — это бесконечная гонка, в которой оказывается почти каждый человек. Мы часто путаем ощущение счастья с удовлетворением основных потребностей, поэтому так легко апеллировать к этой эмоции в рекламе. « Все, что вам нужно для счастья, — это наш продукт ». И мы в это верим.
9 способов стать счастливее за 30 секунд
Счастье — это выбор, который мы делаем
medium.com
Что может сравниться с осознанием того факта, что вы получили лучшее из возможных предложений? Это не всегда должно быть связано с деньгами, поскольку есть и другие ценные ресурсы, такие как время. Понимание того, что ваш идеальный клиент ценит больше всего, позволит вам сделать предложение, от которого он не сможет отказаться.
Будучи социальными существами, мы чувствуем себя в большей безопасности и комфорте в группах, а чувство принадлежности дает нам удовлетворение от осознания того, что нас поддерживают.
Бренды стремятся создать сильное окружение и позволить своим клиентам почувствовать себя частью определенной группы. Точно так же, как спортивные болельщики следуют за своими командами, бренды заставляют нас выбирать сторону. Команда Android здесь.
Прозрачность в бизнесе и общие ценности создают доверие. Еще одна отличная эмоция для создания прочной связи с брендом. Если вы открыто расскажете о своей практике и избегаете каких-либо скрытых комиссий или оговорок в Условиях и положениях, ваши шансы сохранить постоянного клиента увеличиваются.
“ Никогда не угадаешь, что будет дальше! ». Думаю, мы все хотя бы раз становились жертвой этого! Любопытство и предвкушение заставляют нас с нетерпением ждать выхода новых продуктов, а компании дразнят нас провокационными заголовками и проверяют наши ожидания. Незнание того, что произойдет, является великой движущей силой в маркетинге.
Это одна из сильнейших эмоций человеческого призрака, потому что на протяжении веков она помогала нам выживать.
Как базовая эмоция он близок к инстинкту выживания, но в отличие от положительных эмоций, направленных на создание более длительной связи с брендом, страх имеет краткосрочный эффект и может привести к потере доверия. « Не упусти свой шанс! », и вы на самом деле не хотите его пропустить.
Как использовать страх как источник мотивации
Даже лучшие из нас боятся
medium.com
Чувство вины легко вызвать, потому что все мы люди и несовершенны. Хотя это может выглядеть очень манипулятивным, это по-прежнему очень эффективный способ заставить нас совершить продажу, но, как и страх, это может быть действительно отталкивающим.
Создание сильных эмоций — как положительных, так и отрицательных — может помочь установить связь между вашими клиентами и вашим бизнесом, повышая лояльность клиентов, но вы всегда должны учитывать, как эмоции, которые вы пытаетесь вызвать, соотносятся с ценностями вашей компании и думать о них. последствия, которые они могут создать.
Эта история опубликована в The Startup, крупнейшем издании о предпринимательстве на Medium, за которым следят более 385 320 человек.
7 Удивительные факты об науке эмоций [Список]
проливают свет на внутреннюю работу нашей души
13 мая 2014 г.
(Zeljkodan / shutterstock.com)
, тревога, гордость — спектр человеческих эмоций разнообразен и постоянно растет. Но что заставляет нас так или иначе чувствовать? Как проявляются чувства и что мы можем узнать об этом? Наука всегда рядом, чтобы ответить на некоторые из этих сложных вопросов и, возможно, помочь нам быть в большей гармонии со своими чувствами.
1. ПЛОХИЕ ЧУВСТВА ПОЛЕЗНЫ ДЛЯ ВАШЕГО БЛАГОПОЛУЧИЯ Переживание негативных эмоций, таких как страх и гнев, важно для психического здоровья и помогает нам позитивно оценивать свои переживания. Тот, кто испытывает только положительные эмоции, рискует стать самодовольным и игнорировать действительно важные вопросы.
Отрицательные эмоции совершенно естественны, и важно не подавлять их. Все дело в балансе!
(VectorMine/Shutterstock.com)
2. Когда дело доходит до любви, все дело в химииЛюбовь имеет гораздо больше общего с химией, чем вы думаете. Чувство бабочек в животе или потных ладоней, когда вас кто-то влечет, на самом деле имеет научное объяснение. Высвобождаются определенные химические вещества, такие как дофамин и эндорфины, и они оказывают большое влияние на отношения, которые мы выбираем.
(бумажный рисунок KENG MERRY / Shutterstock.com)
3. ЭМОЦИИ НА САМОМ ДЕЛЕ ЯВЛЯЮТСЯ ФИЗИЧЕСКИМИ Согласно исследованию, проведенному группой ученых из Финляндии, эмоции не только являются психологическим феноменом, но и ощущаются вне мозга в остальных частях тела. Определенные части тела, особенно верхняя половина, сильно стимулируются во время таких эмоций, как любовь, счастье и гордость, тогда как депрессия и печаль связаны с онемением.
(Vectorium / Shutterstock.com)
4. ЭМОЦИИ ЗАРАЗИТЕЛЬНЫИсследования снова и снова доказывают, что люди бессознательно имитируют эмоции окружающих. Будь то «заражение» улыбкой или получение положительной энергии в Интернете, мы, люди, просто не можем помочь себе «ловить» эмоции от других людей.
(Antonio Guillem / Shutterstock.com)
5. ВЫНУЖДЕННАЯ УЛЫБКА МОЖЕТ СДЕЛАТЬ ВАС СЧАСТЛИВЫМЕсли вы настроите выражение своего лица, чтобы оно отражало определенную эмоцию, вы действительно начнете чувствовать эту эмоцию, как показали исследования. Когда вы счастливы, вы улыбаетесь, верно? Но это работает и в другую сторону. Если вы хотите сделать себя счастливым, все, что вам нужно сделать, это заставить свое лицо улыбнуться примерно на 30 секунд, и вы мгновенно почувствуете себя счастливее. Это так просто.
(Sasin Paraksa / Shutterstock.com)
6. ТО, ЧТО ВЫ ЧУВСТВУЕТЕ, ВСЕГДА НАПИСАНО НА ВАШЕМ ЛИЦЕ
кратковременное непроизвольное выражение эмоций.