Мимика лица эмоции: Мимика — Психологос

Именно он стал прототипом главного героя сериала «Обмани меня» — доктора Лайтмана, которого сыграл Тим Рот. По сюжету доктор вместе с коллегами расследует громкие дела, раскалывая людей на лжи. Они определяют это по мимике. Экман также выступил консультантом сериала. Так в чем заключается суть его теории?

Теория Пола Экмана

Долгое время ученые не обращали на мимику никакого внимания. Впервые тезис о том, что люди одинаково выражают одни и те же эмоции выдвинул Чарльз Дарвин. В 1872 году он написал книгу «О выражении эмоций у человека и животных». Дарвин также заметил, что выражения лица универсальны не только для нашего вида, но и для животных: например, как и собаки, люди скалятся, когда злятся. При этом Дарвин утверждал, что и жесты, и мимика зависит от того, к какой культуре принадлежит человек.  

Только в 1960-х годах Пол Экман вновь обратился к изучению микромимики. Он провел ряд исследований, чтобы проверить умозаключения Дарвина и выяснил, что он был прав, но только в одном аспекте. Действительно, в разных культурах жесты  различаются, а вот мимика — нет. Чтобы доказать это, Экман отправился к неконтактному племени в Папуа Новую Гвинею. Люди в нем ни разу не взаимодействовали с представителями других народов и цивилизаций. Однако основные эмоции выражали так же, как и люди по всему миру. 

Как научиться читать мысли с помощью микромимики

Осознанное распознавание микромимики — не слишком трудный, но очень полезный навык как в профессиональной, так и в личной жизни.Чтобы научиться этому, нужно обращать внимание на пять аспектов: 

• Морфология лица.

  Конфигурация черт каждого человека отличается от другого. Стоит изучить лицо пристальнее, прежде чем пытаться что-то считать с него.

• Время.

  То, как быстро возникает и как долго держится эмоция на лице, может сказать о многом. Например, об ее искренности.

• Место.

  Важно то, какая именно часть лица задействована в мимике. 

• Контекст.

  Не стоит полагаться только на физическое проявление эмоции. Сделать правильный вывод вам помогут окружающие факторы и дополнительные сведения о человеке. 

В книге «Психология эмоций» Пол Экман приводит не только фотографии микромимики, но и рассказывает о случаях из практики, а также дает рекомендации для считывания таких движений. Например, психолог советует «прикрывать» часть изображения и пытаться угадать эмоцию. Особенно интересно провести с собой такой эксперимент для определения смешанных эмоций. Например, горько-сладкой печали.

7 типов микромимики

Экман обнаружил, что у людей есть семь основных эмоций, которые выражаются микромимикой: счастье, удивление, злость, отвращение, страх, грусть и презрение. На основе этого ученый вместе с коллегой Уоллесом Фризеном разработал «Систему кодирования лицевых движений» (FACS) — метод классификации выражений лица человека. Часть системы составили фотографии, отображающие семь эмоций. И сегодня эта система помогает научиться считывать микромимику людей.

Счастье

Люди часто пытаются притворно изобразить свое счастье. Но правдивую эмоцию невозможно подделать. Когда люди по-настоящему счастливы, они улыбаются так называемой улыбкой Дюшенна. Ее можно отличить от фальшивой по «гусиным лапкам» вокруг глаз. В данном контексте их называют «маркерами Дюшенна». Ученые обнаружили, что распознавание настоящих и фальшивых улыбок заложено природой. Наш мозг воспринимает микромимику, в которой есть маркер Дюшенна, как более искреннюю. 

Определить счастье можно по таким признакам:

• Уголки губ направлены вверх.
• «Гусиные лапки» возле глаз.
• Кожа под бровями натянута.
• Разомкнутая челюсть, но рот не напряжен.
• Рот может быть приоткрыт, а зубы обнажены.
• Щеки приподняты.
• Рот может быть приоткрыт, а зубы обнажены.

Удивление

Основу микромимики удивления составляют приподнятые брови и широко открытые глаза.  Согласно исследованию Нью-Йоркского университета, такой взгляд человека также говорит о доверии. Когда вы расширяете глаза, то подаете окружающим сигналы о том, что вам нечего скрывать.

Также в исследовании, проведенном Лондонским университетом, специалисты выясняли, в чем заключается влияние приподнятых бровей. При согласии родителей полугодовалых младенцев, ученые следили, в каких случаях дети будут следить за взглядом взрослого. Когда человек смотрел куда-то без использования микромимики, ребенок не следил за взглядом. Однако когда взрослый приподнимал брови, младенцы начинали следовать за его взглядом. Так, мы на биологическом уровне понимаем, что такое выражение лица говорит о том, что человек увидели что-то интересное.

По этим признакам можно определить удивление:

• Брови приподняты и изогнуты.
• Кожа под бровями натянута.
• На лбу видны горизонтальные морщины.
• Веки открыты, белки глаз видны сверху и снизу зрачка.
• Челюсть открыта, зубы видны, но рот не растянут и не напряжен.

Злость

Люди, которые искренне злятся, могут пытаться скрыть свое гневное выражение лица. Ведь злость считается менее приемлемой негативной эмоцией, чем грусть или отвращение. Поэтому люди могут показать только одно микровыражение, например, быстрое сморщивание бровей. 

Злость можно определить по этим микровыражениям:

• Брови опущены и сведены вместе.
• Между бровями появляются вертикальные линии.
• Нижняя губа напряжена.
• Глаза пристально смотрят или вытаращены.
• Губы могут быть плотно сжаты или направлены уголками вниз.
• Ноздри могут быть расширены.
• Нижняя челюсть выпирает.

Отвращение

Микромимимка отвращения «включается», когда мы чувствуем отвратительный запах или слышим что-то неприятное. Дело в том, что отвращение заставляет нас щурить глаза. Следовательно, острота нашего зрения возрастает, помогая нам найти источник неприятных эмоций.

Исследование Университета Портсмута, в котором приняли участие 76 женщин, показало, что именно отвращение оказывает наибольшее негативное влияние на сексуальное возбуждение. Это в три раза больше, чем страх. Поэтому, если вы хотите привлечь человека в романтическом плане, стоит избегать микровыражений, говорящих о чувстве отвращения. 

По этим признакам можно определить отвращение:

• Глаза сужены.
• Верхняя губа приподнята.
• Верхний ряд зубов может быть обнажен.
• Нос в «морщинках».
• Щеки приподняты.
• Верхний ряд зубов может быть обнажен.

Страх

Микровыражение страха тесно связано с шоком. Когда мы пугаемся и расширяем глаза, наше поле зрения увеличивается. Это позволяет нам видеть любые угрозы, которые могут скрываться поблизости.

По этим признакам можно определить страх:

• Брови приподняты и сведены вместе, обычно по прямой линии.
• Горизонтальные морщины на лбу.
• Верхнее веко приподнято, а нижнее напряжено и подтянуто.
• Белок виден только выше зрачка.
• Рот открыт, губы слегка напряжены, уголки могут быть опущены вниз.

Грусть

Это самое трудное для подделывания микровыражение. Кроме того, грусть не всегда возможно считать. Почему? Маркеры грустной микромимики не очень крупные и заметные. 

Грусть, в отличие от удивления, является одним из самых продолжительных микровыражений. У людей может даже сформироваться перманентное грустное лицо. Также грустная микромимика может успокаивать тех, кто злится.

По этим признакам можно определить грусть:

• Основания бровей слегка опущены, а края располагаются чуть выше обычного.
• Уголки губ опущены.
• Приподнятая челюсть.
• Нижняя губа выпячивается.

Презрение

Презрение немного похоже на ненависть в том, что представляет собой чувство неприязни, неуважения или обиды по отношению к кому-либо. В отличие от микровыражения отвращения, презрение характеризуется чувством превосходства. Человек чувствует презрение, когда уверен в своей правоте.

По этому признаку можно определить презрение:

• Одна сторона рта приподнята.

По словам эксперта по вопросам брака доктора Готтмана, презрение является самой разрушительной эмоцией и предвестником развода номер один.  

Как по микромимике узнать, что человек лжет: признаки

По мнению Пола Экмана, лжец одновременно передает два сообщения: первое отражает фактическое чувство, а второе — то, что он хочет показать другим. Впервые ученый заинтересовался этой проблемой, когда столкнулся с поведением пациентов, страдающих тяжелой депрессией. В беседах с врачами они утверждали (и мимически, и на словах), что испытывают радость, однако на самом деле стремились выписаться из больницы и покончить с жизнью. Вот несколько признаков мимики, свидетельствующих о лжи:

• Взгляд в сторону.
  Это говорит об отсутствии интереса человека к событиям вокруг него или о желании скрыть информацию. Иногда появляется противоположная реакция – пристальный взгляд в глаза. Она возникает, когда человек осознает, что при обмане люди отводят глаза. 
• Нервное покусывание губ.
  Это движение свидетельствует о беспокойстве собеседника или о желании соврать.
• Частое моргание.
  Может возникнуть как следствие неожиданного вопроса или стрессовой ситуации, из которой один выход – соврать.
• Касания носа.
  Ученые говорят, что во время лжи нос начинает чесаться, поэтому обманщик резким движением его протирает.

Как определять ложь без ошибок — советы

Для того чтобы не ошибаться при считывании микромимики, нужно знать, как люди могут подменять свои чувства.Контролировать микровыражения можно разными способами: 

1. Смягчением.
   Если взрослый человек боится зубного врача, он может слегка сморщиться, добавив к выражению страха на своем лице эмоцию отвращения. В данном случае это чувство направлено на самого себя.
2. Модулированием.
   Человек корректирует интенсивность выражения эмоции. «Есть три способа модулирования выражения лица, — пишет Пол Экман. — Вы можете менять количество вовлекаемых областей лица, длительность сохранения выражения или амплитуду сокращения лицевых мускулов».
3. Фальсификацией.
   Об этом мы поговорили, когда обсуждали пациентов с депрессией. 
   При фальсификации микромимика становится ложной: на лице демонстрируется не та эмоция, которую человек испытывает на самом деле или же не показывается ничего, когда на самом деле чувство есть. Либо же одно выражение скрывается за другим, это называется маскировкой.

Помните о том, что без анализа особенностей личности и контекста возникновения микромимики, есть риск ошибиться. Поэтому для полного понимания связи эмоций и мимики стоит изучить множество дополнительных источников, а также много общаться.

Анализ лица в профайлинге. Базовые эмоции по Полу Экману

Ниже перечислены основные азы , на что надо обратить внимание при анализе лица в профайлинге.

Любые переживания и размышления человека находят непосредственное отражение в виде движения мышц на лице. Подобные изменения, принимающие то или иное выражение, называются мимикой. В зависимости от особенностей строения мышц лица или эмоционального состояния эти выражения могут быть слабыми («застывшее» лицо) или сильными.

Несмотря на непосредственную связь с внутренним миром человека, взрослые люди умеют управлять своей мимикой. У них вырабатывается привычка контролировать выражение на своем лице, поэтому иногда очень сложно сказать – говорит ли человек правду

Микроэспрессии

Но все же, после небольшой тренировки, как говорит психолог Пол Экман, вы сможете заметить мимолетные выражения на лице. Подобные быстрые, еле заметные мимические выражения, полностью соответствующие переживаемым эмоциям, называются микроэкспрессии. Они сжаты по времени, и похожи на невольные мимические движения лица, но очень важны для наблюдателя. Поскольку хоть и в сокращенной форме отражают подавляемую реакцию, которую человек пытается контролировать.

Даже при попытке замаскировать экспрессию лица улыбкой, в области лба и верхних век проявляются переживаемые эмоции.

Направление взгляда является еще одним показателем, потому что в попытке скрыть свои намерения человек часто отводит взгляд в сторону или опускает глаза.

Поэтому, если вы видите мимику, которая не подходит в данной ситуации, например, напряжение лица или имитируемую улыбку, то это надо учитывать.

Во время общения с помощью речи передается только 20-40 % информации, основная часть (60-80%) передается жестами. Поэтому, кроме наблюдения за мимикой, которая может быть отрепетированной (приветливость, заинтересованность), необходимо наблюдать за положением тела, за движением рук и ног. Многие психологи утверждают, что части тела, расположенные к голове – легче контролировать. Что они отражают симулирующие эмоции, а, например, движения ног слабо поддаются контролю и передают – действительные.

Поэтому люди часто не осознают, что их движения и жесты не соответствуют тому, что они говорят голосом. На следует обращать внимание, ведь когда человек печалится – он нахмурен, когда счастлив – улыбается. Отрицание обычно сопровождается покачиванием головой, а кивание – означает «да». Пожимание плечами говорит о том, что человек не понимает, о чем речь или чего-то не знает.

                                                                         Удивление

Причина:  События, не отвечающие привычной модели мира.

Аналоги:  Потрясение, Интерес, Оживление.

Время:    Настоящее.

Последствия:  Замешательство.

Внешние  признаки:

Брови. Изогнуты и приподняты

Глаза. Широко открыты. Показывается укая полоска склеры между верхним веком и зрачком.

Веки. Нижние веки расслаблены. Верхние приподняты.

Лоб. Поперек лба образуются горизонтальные морщины.

Рот. Расслаблен. Нижняя челюсть опущена. Губы разомкнуты

Признаки фальши:

Напряжение в губах.

Губы сомкнуты или оттянуты назад.

                                                                       Радость

Причина:  Удовлетворение значимого фактора или события.

Схожие реакции:  Восторг, Ликование, Блаженство.

Время:  Настоящее.

Последствия:  Расслабление, Коммуникабельность.

Внешние признаки:

Веки.  Нижние веки приподняты и расслаблены. Под ними видны морщинки.

Глаза. Морщинки в виде гусиных лапок идут от внешних уголков глаз к вискам.

Щеки. Приподняты.

Рот. Уголки рта оттянуты  назад и вверх.

 Признаки фальши:

Напряжение мышц вокруг глаз.

Движение\напряжение бровей.

Напряжение скул и мышц нижней челюсти.

                                                               Злость. Гнев

Причина:    Угроза важному критерию, которую можно и нужно устранить.

Аналоги:       Раздражение, Ярость, Неистовство, Ненависть.

Участие:       Активное.

Время:         Прошлое  – Настоящее.

Внешние признаки:

Брови опущены и сведены. Вертикальные морщины   посередине лба.

Веки напряжены, глаза смотрят пристально.   Нижнее веко может быть приподнято.

Рот. а) Губы плотно сжаты.  б) Могут быть разжаты, но тогда рот имеет прямоугольную форму.

Признаки фальши: Отсутствие напряжения губ и уменьшения их площади.

Замечание: При проявлении гнева изменения происходят

во всех 3 областях лица. Если это не так, то выражение

остается неясным. Нужна дополнительная информация.

Последствия:   Вербальная и невербальная агрессия.

                                                                    Отвращение             

Причина:  Нарушение значимого ассоциативного восприятия.

Аналоги:    Омерзение, Гадливость, Неприязнь.

Время:    Настоящее.

Последствия:  Снижение коммуникации, Отстранение,   Дистанцирование.

Внешние  признаки:

Рот. Верхняя губа приподнята. Нижняя губа либо   придвинута к верхней, либо выпучена и слегка   выдвинута вперед

Нос. Сморщивается. Щеки приподнимаются.

Брови. Приспущены (незначительно).

Веки. Нижние веки поднимаются. Появляются морщинки под нижними веками

Признаки фальши: Нижние веки напряжены. Изменение в дыхании не наблюдаются.

Отвращение обычно сопровождается реакцией отталкивания и уклонения для того, чтобы уклониться от объекта или индивида и избежать контакта с ними.

                                                                    Презрение

Причина:  наблюдение неприемлемых качеств или поведения.

Аналоги:  Пренебрежение, Надменность.

Время:    Прошлое – Настоящее – Будущее.

Последствия:  взаимоотношения с чувством превосходства.

Внешние признаки:

Рот. Приподнятый уголок рта с одной стороны.

Лицо. Лицевая асимметрия обычно с одной стороны лица напряжение век и поднятие щеки.

 Признаки фальши  Отсутствие асимметрии лица

                                                                        Печаль

Причина:  Значительная неудовлетворенность в каких либо аспектах жизни

Аналоги:    Грусть, Тоска, Ностальгия, Уныние, Безнадежность, Скорбь

Участие:  Пассивное.

Время:  Прошлое

Последствия:  Заторможенность, снижение коммуникаций.

Внешние проявления:

Брови. Внутренние уголки бровей приподняты к верху и могут быть слегка сведены.

Веки.  Верхние веки слегка опущены.

Рот.  Уголки губ опущены вниз.  Губы расслаблены или подрагивают.

 Признаки фальши:  Отсутствие характерных признаков в районе лба.  Печаль пассивна. Характерное пассивное состояние, которое вызвано не физической болью, а моральным разочарованием или ощущением безнадежной утраты.

                                                                        Страх

Причина:    события угрожающие реальным или предполагаемым  бедствием, основанные на негативном опыте

Время:  Настоящее.

Последствия:  Замешательство, Прерывание коммуникации,   Ступорное состояние.

Внешние проявления:

Глаза. Открыты и напряжены.

Веки. Верхние веки подняты, склера приоткрыта. Нижние веки растянуты и напряжены закрывают часть радужной оболочки.

Брови приподняты и слегка сведены. Морщины только в центральной  части лба.

Рот. Немного приоткрыт.

Губы. Губы напряжены и возможно сильно оттянуты назад.

Признаки фальши:

Отсутствие морщин в районе лба и напряжения век. 

Если вы хотите научиться разбираться в людях, в их эмоциональных состояниях, и уметь прогнозировать их поведение , то пройдите мой авторский  обучающий курс “Антидот от Хаоса”

Выражение эмоций на лице — IResearchNet

Выражение эмоций на лице Определение

Люди и некоторые другие животные прекрасно владеют своими лицевыми мышцами. Выражение эмоций на лице — это шаблонные движения мышц лица, которые соответствуют внутренним аффективным состояниям.

Значение выражения эмоций на лице

Общение, безусловно, важно для эффективного социального взаимодействия. В то время как люди могут общаться друг с другом вербально, они также могут общаться невербально с помощью языка тела и мимики. Выражение эмоций на лице — важный аспект общения, и наши тела и мозг, кажется, запрограммированы на участие в таком общении.

Два аспекта нервной системы подчеркивают биологическую готовность к общению посредством выражения лица. Во-первых, у людей, по-видимому, есть области мозга, специально предназначенные для обработки информации о лицах других людей. Примечательно, что эти области мозга активны и развиваются даже у младенцев. Это говорит о том, что люди рождаются со склонностью и способностью обращать внимание и обрабатывать информацию о лицах других людей. Во-вторых, у каждого человеческого мозга есть две области коры, содержащие карту собственного тела. Соматосенсорная кора — это часть мозга, которая интерпретирует, какая часть или части тела получают тактильную информацию в любой момент времени. Чем более чувствительна та или иная часть тела, тем больше ей посвящена соматосенсорная кора. Моторная кора — это область мозга, отвечающая за направление мышечных команд к различным частям тела. Чем больше у человека контроля над определенной частью тела, тем больше моторной коры предназначено для этой части тела. Лицо непропорционально представлено в обеих этих областях коры. То есть, лицу посвящено больше частей соматосенсорной и моторной коры, чем можно было бы ожидать, исходя из размера лица по сравнению с остальной частью человеческого тела. Все это говорит о том, что выражение эмоций на лице играет важную роль и что наши тела способны легко общаться посредством такого выражения.

Культурные аспекты выражения эмоций на лице

Принимая во внимание коммуникативную важность выражения эмоций на лице, можно предположить, что выражение эмоций является универсальным в разных культурах, т. наблюдатели из всех культур могут интерпретировать, что чувствует тот или иной человек, основываясь на его или ее выражении лица. Действительно, Чарльз Дарвин первым отстаивал эту идею, утверждая, что выражения лица зависят от вида, а не от культуры. В пользу этой точки зрения имеется немало доказательств.

Люди способны с поразительной точностью распознавать по выражению лица как минимум шесть эмоций: счастье, удивление, страх, гнев, печаль и отвращение. Впечатляет то, что это было продемонстрировано даже в культурах, ранее не контактировавших с западными обществами (предполагая, что участники исследования не узнали об этих эмоциональных выражениях из различных средств массовой информации). Кроме того, когда представителей дописьменных культур просили изобразить различные выражения лица, американцы смогли распознать, какую эмоцию они выражают. Точность суждений о выражении лица хорошая, когда оцениваемая цель является неподвижной фотографией выражения лица. Точность таких суждений повышается, когда людям позволяют судить о выражении лица в действии.

Универсальность выражений эмоций на лице (и интерпретация этих выражений) предполагает, что они являются врожденными, а не приобретенными формами поведения. Подтверждая этот вывод, люди с врожденной слепотой имеют такое же выражение лица, как и зрячие. Кроме того, выражение лица некоторых приматов очень похоже на выражение лица человека. Эти данные подтверждают утверждение Дарвина о том, что выражение лица — это эволюционное поведение, выполняющее важную коммуникативную функцию.

Несмотря на эти культурные сходства, в разных культурах также существуют различия в выражении эмоций на лице. Во-первых, люди примерно на 10% точнее интерпретируют выражение лица представителей своей культурной группы, чем лица представителей других культурных групп. Однако важно помнить, что люди по-прежнему достаточно точны, когда судят о представителях других культурных групп. Во-вторых, в разных культурах и подгруппах внутри культур действуют разные правила уместности различных выражений эмоций. Например, американцы гораздо охотнее проявляют гнев, чем японцы. Поэтому люди могут по-разному выражать эмоции в разных культурах. В-третьих, недавние исследования выявили интересные культурные различия в том, как люди интерпретируют эмоциональные выражения других. В этом исследовании участники просматривали изображение социальной сцены, и их просили определить, какие эмоции испытывает конкретный человек на фотографии. Участники из западных стран использовали только выражение лица целевого человека при вынесении этих суждений. Участники из Японии с большей вероятностью использовали весь контекст (то есть выражения лиц других участников сцены) при вынесении этих суждений. Для американцев улыбка всегда означала счастье. Для японских участников улыбка иногда означала счастье, а иногда — ухмылку.

Выражение и переживание эмоций

Исследователи уже довольно давно обсуждают роль выражения эмоций на лице. Некоторые утверждают, что выражение лица является частью эмоционального опыта, тогда как другие утверждают, что выражение лица просто отражает внутреннее состояние. В настоящее время нет доказательств, позволяющих определить, какая из этих точек зрения верна. Однако ясно одно: выражения лица и эмоции тесно связаны друг с другом. Исследования показали, что выражения лица могут создавать эмоциональные переживания. Исследования продемонстрировали это, ненавязчиво вызывая у людей улыбку или хмурый взгляд (произнося разные фонемы или держа карандаш во рту), а затем наблюдая за их влиянием на настроение. Улыбка вызывала более приятное настроение, а хмурый взгляд вызывал более негативное настроение. Выражения лица могут вызывать эмоции, вызывая физиологические изменения в организме. Также возможно, что они вызывают эмоции через процесс самовосприятия, в котором люди предполагают, что они должны быть счастливы (или грустны), потому что они улыбаются (или хмурятся). Конечно, в реальном мире эмоции людей обычно вызываются не только выражением лица, но и другими факторами. Однако то, что выражения и переживание эмоций так тесно связаны, является интригующим открытием.

Ссылка:

• Экман, П. (1993). Выражение лица и эмоции. Американский психолог, 48, 384–392.

Распознавание выражения лица человека с помощью машинного обучения

Системы машинного обучения могут быть обучены распознавать выражения эмоций на изображениях человеческих лиц, во многих случаях с высокой степенью точности.

Image by Tsukiko Kiyomidzu

Однако внедрение может оказаться сложной задачей. Технология находится на относительно ранней стадии. Наборы данных высокого качества может быть трудно найти. И есть различные ловушки, которых следует избегать при разработке новых систем.

В этой статье представлено введение в область, известную как распознавание выражения лица (FER). После объяснения общих особенностей и проблем, составляющих эту область, в этой статье будут рассмотрены общие наборы данных, архитектуры и алгоритмы FER. Кроме того, в нем будут изучены производительность и точность систем FER, чтобы показать, как эти результаты определяют новые траектории для тех, кто изучает автоматическое распознавание эмоций с помощью машинного обучения.

Откуда взялся наш опыт

Информация, представленная в этой статье, основана на сочетании опыта проекта и научных исследований. В Thoughtworks мы создали набор инструментов FER под названием EmoPy, поддерживая художницу и режиссера Карен Палмер во время ее пребывания в Thoughtworks Arts.

В качестве ведущего разработчика этого проекта я работал с командой, чтобы помочь Карен создать новую версию ее эмоционального фильма RIOT. Мы создали EmoPy с нуля, чтобы удовлетворить требования системы RIOT к распознаванию эмоций.

Карен Палмер использует набор инструментов EmoPy в своих работах

EmoPy публикуется как проект с открытым исходным кодом, помогая расширить публичный доступ к технологии, которая часто остается за закрытыми дверями. В этой следующей статье я подробно расскажу о создании набора инструментов EmoPy и объясню, почему и как вы можете использовать его в своих собственных проектах.

До прихода в Thoughtworks я окончил Стэнфорд по специальности «Искусственный интеллект». Большая часть моих исследований была посвящена сравнительным подходам к проблемам машинного обучения, включая рассмотрение систем FER.

Обзор, представленный в этой статье, основан на обоих этих опытах, в Стэнфорде и в Thoughtworks Arts.

Классификация изображений как эмоций

Распознавание выражений лица – это проблема классификации изображений в рамках более широкой области компьютерного зрения. Задачи классификации изображений — это задачи, в которых изображениям необходимо алгоритмически присвоить метку из дискретного набора категорий. В частности, в системах FER изображения представляют собой человеческие лица, а категории представляют собой набор эмоций.

Для всех подходов машинного обучения к FER требуется набор примеров обучающих изображений, каждый из которых помечен одной категорией эмоций. Часто используется стандартный набор из семи классификаций эмоций:

1. Гнев
2. Отвращение
3. Страх
4. Счастье
5. Печаль
6. Удивление 90 030
7. Нейтральные

Эти классификации эмоций показаны на изображении ниже, где показаны репрезентативные примеры изображений, взятые из этой статьи 2014 года о распознавании выражений.

Классификация изображения на основе его изображения может быть сложной задачей для машин. Людям несложно посмотреть на изображение велосипеда и понять, что это велосипед, или посмотреть на лицо человека и понять, что он улыбается и счастлив.

Подборка помеченных изображений для анализа экспрессии

Когда компьютеры смотрят на изображение, они «видят» просто матрицу значений пикселей. Чтобы классифицировать изображение, компьютер должен обнаружить и классифицировать числовые закономерности в матрице изображения.

Эти паттерны могут быть различными, и их трудно определить по нескольким причинам. Некоторые человеческие эмоции можно различить только по тонким различиям в чертах лица, при этом такие эмоции, как гнев и отвращение, часто выражаются очень похожими способами. Выражение эмоций каждого человека может быть очень своеобразным, с определенными причудами и мимическими репликами. На фотографиях, подлежащих классификации, может быть большое разнообразие расходящихся ориентаций и положений голов людей.

По этим причинам FER сложнее, чем большинство других задач классификации изображений. Однако хорошо спроектированные системы могут дать точные результаты, если во время разработки учитываются ограничения.

Например, более высокая точность может быть достигнута при классификации небольшого подмножества хорошо различимых выражений, таких как гнев, счастье и страх. Более низкая точность достигается при классификации больших подмножеств или небольших подмножеств с менее различимыми выражениями, такими как гнев и отвращение.

Компоненты анализа общих выражений

Как и большинство систем классификации изображений, системы FER обычно используют предварительную обработку изображений и извлечение признаков  с последующим обучением на выбранных обучающих архитектурах . Конечным результатом обучения является создание модели , способной назначать категории эмоций вновь предоставленным примерам изображений.

Часто используемые системные архитектуры FER

Этап предварительной обработки изображений может включать преобразования изображений, такие как масштабирование, обрезка или фильтрация изображений. Он часто используется для выделения важной информации об изображении, например, обрезка изображения для удаления фона. Его также можно использовать для дополнения набора данных, например, для создания нескольких версий исходного изображения с применением различной обрезки или преобразования.

Этап извлечения признаков  идет дальше в поиске наиболее описательных частей изображения. Часто это означает поиск информации, которая может быть наиболее показательной для определенного класса, например, края, текстуры или цвета.

Этап обучения происходит в соответствии с определенной архитектурой обучения , которая определяет комбинации слоев, которые взаимодействуют друг с другом в нейронной сети. Архитектуры должны быть разработаны для обучения с учетом состава этапов извлечения признаков и предварительной обработки изображений. Это необходимо, потому что некоторые архитектурные компоненты лучше работают с другими, когда применяются по отдельности или вместе.

Например, некоторые типы извлечения признаков бесполезны в сочетании с алгоритмами глубокого обучения. Они оба находят в изображениях соответствующие функции, такие как края, и поэтому их совместное использование излишне. Применение извлечения признаков до алгоритма глубокого обучения не только не нужно, но и может даже негативно повлиять на производительность архитектуры.

Сравнение алгоритмов обучения

После завершения любого этапа выделения признаков или предварительной обработки изображения алгоритм обучения создает обученную модель прогнозирования. Существует ряд вариантов обучения моделей FER, каждый из которых имеет сильные и слабые стороны, что делает их более или менее подходящими для конкретных ситуаций.

В этой статье мы сравним некоторые из наиболее распространенных алгоритмов, используемых в FER:

• Мультиклассовые машины опорных векторов (SVM)
• Сверточные нейронные сети (CNN)
• Рекуррентные нейронные сети (RNN) 9003 0
• Сверточный длинный Кратковременная память (ConvLSTM)

Мультикласс Машины опорных векторов (SVM) — это алгоритмы обучения с учителем, которые анализируют и классифицируют данные, и они хорошо работают при классификации выражений лица человека. Однако они делают это только тогда, когда изображения создаются в контролируемых лабораторных условиях с последовательными позами головы и освещением.

SVM менее эффективны при классификации изображений, снятых «в дикой природе» или в спонтанных, неконтролируемых условиях. Таким образом, все последние изучаемые архитектуры обучения представляют собой глубокие нейронные сети, которые лучше работают в этих обстоятельствах. Сверточные нейронные сети (CNN)  в настоящее время считаются наиболее подходящими нейронными сетями для классификации изображений, поскольку они обнаруживают закономерности в небольших частях изображения, таких как изгиб брови.

CNN применяют ядра, которые представляют собой матрицы меньшего размера, чем изображение, к фрагментам входного изображения. Применяя ядра к входным данным, новые матрицы активации, иногда называемые картами функций, генерируются и передаются в качестве входных данных на следующий уровень сети. Таким образом, CNN обрабатывают более детализированные элементы изображения, что позволяет им лучше различать две похожие классификации эмоций.

В качестве альтернативы Рекуррентные нейронные сети (RNN) используют динамическое временное поведение при классификации изображения. Это означает, что когда RNN обрабатывает входной пример, она не просто просматривает данные из этого примера — она также просматривает данные из предыдущих входов, которые используются для предоставления дополнительного контекста. В FER контекстом могут быть предыдущие кадры изображения видеоклипа.

Идея этого подхода состоит в том, чтобы зафиксировать переходов между  образцами лица с течением времени, позволяя этим изменениям стать дополнительными точками данных, поддерживающими классификацию. Например, можно фиксировать изменения краев губ по мере того, как выражение лица меняется от нейтрального к счастливому при улыбке, а не только края улыбки из отдельного кадра изображения.

Комбинации для большего эффекта

Сила CNN в извлечении локальных данных может быть объединена со способностью RNN использовать временной контекст с использованием  Convolutional Long Short Term Memory (ConvLSTM) . Эти системы используют сверточные слои для извлечения признаков и слои LSTM для фиксации изменений в последовательностях изображений.

Поскольку глубокие нейронные сети хорошо выявляют закономерности в изображениях, их также можно использовать для извлечения признаков. Некоторые подходы FER используют CNN для создания векторов признаков, которые затем отправляются в SVM для классификации. Этот подход может привести к более точным результатам, но представляет собой более сложную архитектуру, которая требует дополнительных усилий по программированию и увеличения времени обработки для каждого классифицированного изображения.

Производительность любого из этих подходов зависит от входных данных, параметров обучения, набора эмоций и системных требований. По этим причинам важно экспериментировать с различными обучающими архитектурами и наборами данных, оценивая точность и полезность каждой комбинации.

Поиск правильных данных

Как описано выше, модели FER должны быть обучены на наборе помеченных изображений, прежде чем их можно будет использовать для классификации новых входных изображений. Для обучения этим приложениям требуются большие наборы данных изображений лиц, каждое из которых отображает отдельную эмоцию — чем больше помеченных изображений, тем лучше.

Принятие решения о наборе данных для обучения сети — непростая задача, особенно потому, что трудно найти высококачественные наборы данных FER. Немногие такие наборы данных находятся в открытом доступе, а те, что есть, имеют свои особенности, которые необходимо понимать и принимать во внимание.

Наиболее важными моментами, которые следует учитывать при выборе набора данных, являются размер и качество набора. Размер, пожалуй, самый важный, а также самый простой для объяснения. В идеале набор данных должен содержать тысячи, а лучше миллионы изображений.

Многие общедоступные наборы данных FER содержат только сотни, а иногда и тысячи изображений. Напротив, база данных эмоций Affectiva, содержащая более 5 миллионов лиц, используется для коммерческих продуктов классификации эмоций. Однако эти данные не являются общедоступными.

Качество набора данных можно оценивать по-разному. Одним из ключевых соображений является уровень представления данных классификаций эмоций. Во многих наборах данных некоторые эмоции обычно непропорционально представлены недостаточно или чрезмерно представлены по сравнению с другими. Например, наборы данных обычно содержат гораздо меньше примеров отвращения, чем счастья или гнева.

Еще одним аспектом качества является то, как стимулировались эмоции, выраженные в наборах данных. Приказано ли актерам «разыгрывать» эмоции? Или люди подвергались подлинным эмоциональным переживаниям, которые затем записывались? Эти два подхода могут привести к очень разным результатам.

Еще одно соображение касается позы головы. Каков диапазон поз головы и ориентаций в наборе данных? Важно: как этот диапазон соотносится с диапазоном поз головы, ожидаемых в вашей производственной среде?

Каков диапазон изменчивости освещенности объекта на каждом изображении и как это связано с вашей целевой средой? Как изображения были помечены при создании набора данных и кем? Есть ли какая-либо предвзятость в ярлыках, которая увеличит предвзятость вашей модели?

Все это вопросы качества набора данных, которые следует учитывать при выборе набора данных.

Наборы данных и целевые эмоции

Выбор набора данных должен проводиться с учетом набора целевых эмоций для классификации. Как упоминалось ранее, некоторые эмоциональные выражения похожи друг на друга. Кроме того, тонкие выражения, такие как презрение, бывает очень трудно уловить. Следовательно, некоторые наборы данных будут превосходить другие для определенных эмоциональных наборов.

Нейронные сети, обученные на ограниченном наборе эмоций, как правило, дают более высокие показатели точной классификации. Чтобы привести самый экстремальный пример, обучение на наборе данных, содержащем только примеры счастья и гнева, имеет тенденцию давать очень высокую точность. Две такие разные целевые классификации означают, что перекрытие в диапазоне выражения лица сведено к минимуму.

Когда нейронные сети обучаются на наборах данных, содержащих недопредставленные эмоции, такие как отвращение, они, как правило, неправильно классифицируют эти эмоции. Это происходит потому, что несколько эмоций могут иметь схожие черты лица, а набор данных не содержит достаточно больших наборов примеров одной эмоции, чтобы найти четкие отличительные закономерности.

Перенос обучения и дополнение данных

Все эти проблемы усложняют процесс выбора набора данных и приводят к необходимости искусственного улучшения любого набора данных, который вы решите использовать. Это приводит некоторых к изучению метода, называемого трансферным обучением, подхода, который использует знания, полученные при решении одной проблемы, и применяет эти знания к другой, но связанной проблеме.

Идея трансферного обучения не в том, чтобы начинать обучение с нуля. Вместо этого используйте модели нейронных сетей, которые ранее были обучены на большом количестве аналогичный  данные для решения другой похожей задачи. Эти модели уже поставляются с набором предварительно обученных весов классификации, которые можно использовать в качестве отправной точки и которые можно повторно обучить с новым набором данных, использующим новый набор классификаций.

В случае FER можно использовать нейронные сети, которые были предварительно обучены на большом количестве изображений для решения общих задач классификации изображений, таких как Google Inception-V3model. Эта модель обучается на наборе данных ImageNet, содержащем около 80 000 изображений 1000 классов, таких как «зебра», «далматин» и «посудомоечная машина», с использованием CNN.

Тем не менее, есть много возможностей для улучшения моделей трансферного обучения для FER, поскольку такие модели очень трудно обобщать для наборов данных. Модель, обученная на одном наборе данных, может плохо работать при использовании для классификации изображений из второго набора данных.

Другой подход заключается в использовании дополнения данных для искусственного увеличения размера наборов данных. Этот подход создает копии оригинальных изображений с измененным освещением, примененными поворотами и зеркальным отображением, а также другими преобразованиями. Этот подход может повысить точность нейронных сетей за счет увеличения диапазона состояний, в которых встречаются исходные признаки во время обучения.

Производительность на практике

В таблицах ниже показаны результаты точности для нескольких последних архитектур моделей глубоких нейронных сетей, обученных на двух разных общедоступных наборах данных:

• Расширенный метод Кон-Канаде, выпущенный в 2010 г. , и 9003 0
• Оулу -CASIA, выпущено в 2009 г.

Таблицы взяты из академического исследования 2017 года, в котором собственные результаты, показанные в строке «Наш финал», сравниваются с другими архитектурами, упомянутыми в документе.

Результаты различных архитектур глубоких нейронных сетей, обученных на наборе данных Кон-Канаде

Результаты точности, представленные в первой таблице, очень высоки. Однако важно отметить, что эти модели были обучены и протестированы на наборе данных Кона-Канаде, который содержит менее 500 образцов изображений с выражениями лица, и что эти выражения были «отыграны», а не аутентично выражены.

Сыгранные выражения лица обычно более преувеличены, чем то, что мы видим в реальном мире. Если бы мы классифицировали новые изображения с помощью этих моделей, они, скорее всего, оказались бы хуже. Системы, обученные на наборах данных, созданных в контролируемой лаборатории, обычно не могут обобщать наборы данных.

Результаты различных архитектур глубоких нейронных сетей, обученных на наборе данных Oulu-CASIA

Набор данных Oulu-CASIA состоит из шести выражений: удивление, счастье, печаль, гнев, страх и отвращение. Записанные изображения взяты у группы из 80 человек, большинство из которых были мужчинами. Пятьдесят испытуемых были финны и тридцать китайцы.

Выражения не только разыгрывались, но испытуемым давали изображения выражений лица, которые они использовали в качестве примеров для подражания. Это еще один пример набора данных с чрезвычайно контролируемым процессом создания, что приводит к отсутствию обучающего разнообразия и модели, которая не может обобщать.

Разработка новых проектов в FER

Эти примеры помогают проиллюстрировать основную проблему, возникающую при разработке системы FER, — обобщаемость. Как можно добиться высокой точности для нескольких наборов данных, содержащих изображения с несколькими вариантами позы, освещения и других отличительных признаков?

Эти вопросы побудили нас разработать собственный общий инструментарий FER, опираясь на наилучшие доступные общедоступные данные и используя описанные выше методы для получения точных результатов.

При внедрении новых систем необходимо искать слабые места и анализировать особенности вашего конкретного варианта использования. Это может привести к неожиданным решениям, например, когда мы записали собственный набор данных, максимально соответствующий целевой производственной среде, для тестирования обученных моделей.

Мы определили, что лучший способ добиться высокой точности в нашем проекте – это обучить нашу модель на небольшом наборе данных, который максимально соответствует ожидаемым условиям арт-инсталляции.

Видео создания набора данных Карен Палмер

Эти условия могут быть изменчивы, так как опыт позиционируется по-разному на каждой выставке работ, но, как правило, мы ожидаем темные комнаты со светом, сияющим на лицах участников под большим углом. Кроме того, мы ожидаем, что выражения лица участников будут более тонкими, чем «постановочные» или отыгрываемые выражения.