Разное

Определение эмоций по фотографии: Тесты на определение эмоций по статичным микровыражениям

05.06.2023

Тест для сотрудников финансовых компаний / Хабр

Голландский банк ING на протяжении двух лет занимается реализацией программы, которая направлена на повышение «эмоционального интеллекта» сотрудников. Часто людям трудно сходу распознать эмоции собеседника, что может приводить к ухудшению качества коммуникаций с клиентами и коллегами.

Усилия дают результаты — как пишет Business Insider, несмотря на то, что в ING денежные премии ниже, чем в среднем по отрасли, согласно опросам, сотрудники, в среднем, более удовлетворены своей работой. Кроме того, выручка растет также быстрее, чем в среднем по отрасли, при этом 80% дополнительных доходов приходятся на текущих клиентов.

Программа повышения «эмоционального интеллекта» включает в себя множество различных аспектов. Важнее всего здесь научиться распознавать эмоции другого человека. Для того, чтобы это сделать, финансовая компания предлагает сотрудникам специальный тест. Он состоит из изображения человека и четырех вариантов ответа. Попробуем пройти его (после картинки идет спойлер с ответом, а затем его описание).

Какие эмоции испытывает человек на картинке?

Ответ:

Презрение

«Люди часто путают презрение с отвращением. Но в последнем случае обычно приподнимается верхняя губа, а на носу появляется морщинка. Отвращение возникает по отношению к чему-то плохому, а не когда человек насмехается над чем-то или что-то подозревает».


Ответ:

Отвращение

«Люди часто путают отвращение с гневром. Но в последнем случае брови человека опускаются а губы сжимаются сильнее а верхнее веко глаза поднимается. В случае отвращения, напротив, рот открывается и появляется язык, как при тошноте».


Ответ:

Кокетство

«Здесь мы видим застенчивую, но кокетливую улыбку.

Понять, что человек кокетничает, можно, если его или ее голова отворачивается в сторону, как бы сообщая “ты мне не интересен”, но одновременно сохраняется зрительный контакт. Это универсальный знак двойственности кокетства — человек одновременно избегает и провоцирует контакт с другим человеком».


Ответ:

Боль

«Когда мы чувствуем боль, лицевые мышцы сокращаются. В верхней части лица сокращаются мышцы вокруг глаза, вызывая эффект “зажмуривания”, также опускаются брови. В нижней части лица сжимаются и подаются вперед губы».


Ответ:

Сострадание

«Когда человек испытывает симпатию или сострадание к кому-то, мышца, сморщивающая бровь, приподнимает их, губы сжимаются, а голова чуть подается вперед — это знак вовлеченности».


Ответ:

Радость

«При искренней улыбке мышцы расслабляются. Человек выглядит открытым и расслабленным — в минуты радости мы хотим взаимодействовать с людьми, а не защищаться от них».


Ответ:

Удивление

«Некоторые эксперты считают, что в моменты удивления у человека широко открываются глаза — неожиданная встреча с другом, которого давно не видел, внезапная награда — мы стараемся “впитать” как можно больше такой новой информации».


Ответ:

Гордость

«Гордость связана со знаками превосходства. Уголки губ немного поднимаются, сигнализируя о том, что человек доволен. Но в отличие от собственно радости, голова отклоняется назад, а подборок задирается. Это классические знаки ощущения власти и превосходства — люди, посылающие их, чувствуют свою силу».


Ответ:

Смущение

«Когда люди смущены, они наклоняют голову вбок и вниз, открывая шею. Смущенная улыбка также отличается от обычной: губы сжимаются вместе, это проявление сдержанности».


Ответ:

Гнев

«Такие мышечные движения губ и вокруг глаз и бровей говорят о том, что человек агрессивен, реагирует на угрозу или расстроен. Исследователи полагают, что так происходит потом, что такие мышечные движения могут физически защитить лицо в ходе конфликта — к примеру, сведенные брови защищают глаза».


Ответ:

Счастье

«Это классическая искренняя улыбка, которую еще называют улыбкой Дюшена — она выражает счастье».


Ответ:

Страх

«Выражение лица при испуге часто путают с удивлением. Но в последнем случае глаза человека открываются сильнее и губы не “разъезжаются” в стороны, как на этой фотографии.

Напротив, рот открывается. Кроме того, момент испуга брови практически не двигаются, а в случае удивления они приподнимаются».

Как пишет Business Insider, финансовая организация, использующая этот тест, не осуществляет с его помощью оценку своих сотрудников. Он создан для того, чтобы заставить людей задуматься о важности эмоций и их распознавания. Это позволяет им лучше понимать других людей, к примеру клиентов — а уже это выливается в рост прибыльности бизнеса.

А сколько правильных ответов дали вы? Делитесь в комментариях и не забывайте подписываться на наш блог!

Точность распознавания эмоций по фото удалось повысить до 87% | by NeuroHive Ru

5 min read

·

May 30, 2018

Распознавание выражений лица, или эмоций — интересная и сложная задача из области компьютерного зрения. В будущем распознавание лиц будет выполняться автоматически с помощью алгоритмов, а исследователи будут извлекать реальную выгоду. Возможности применения обширны — запись видео, рекомендации по фильмам или рекламе, обнаружение боли в телемедицине и т.д.

Тем не менее, даже не все люди хорошо справляются с распознаванием чужих эмоций, как же тогда компьютеры справляются с этим? Известно, что люди выражают эмоции с помощью глаз, бровей и движений губ. Насколько хороши современные подходы к распознаванию эмоций? Современные алгоритмы машинного обучения демонстрируют точность в 55% для распознавания выражения лиц на изображениях и точность в 46% для распознавания лиц на видео.

Давайте теперь узнаем, как ковариации повышают точность, с которой распознается и классифицируется выражение лица.

Рисунок 1. Примеры изображений с разными выражениями лица и областями изгиба между бровями на соответствующем изображении.

Группа исследователей из ETH Zurich (Швейцария) и KU Leuven (Бельгия) указывают на то, что классификация выражений лица по категориям (грусть, гнев, радость и т. д) требует захвата точек, определяющих искажение черт лица. Исследователи считают, что для этого лучше всего подходит ковариация.

Подход был применен к двум отдельным задачам:

  • Распознавание эмоций на изображении: после сверточных слоев вводится covariance pooling. Размерность уменьшили с использованием концепций из manifold network, которая обучалась вместе со сверточной нейросетью.
  • Распознавание эмоций на видео: covariance pooling использовалось для фиксации эволюции характеристик каждого кадра во времени. Исследователи провели эксперименты с manifold networks для объединения кадровых характеристик.

Углубимся в подход распознавания лиц с использованием covariance pooling.

Начнем с изображений. Алгоритм начинается с обнаружения лиц: нужно избавиться от нерелевантной информации. Распознавание лица выполняется по расположению основных точек, затем лицо выравнивается. После этого нормализованные данные подаются в CNN. Для объединения координат объекта из CNN используется covariance pooling. Наконец, manifold network используется для изучения вторичных принаков.

Рисунок 2. Архитектура модели для распознавания лиц на изображении

Модель распознавания лиц на видео похожа на распознавание лиц на изображениях, но имеет свои особенности. Во-первых, она начинается с получения необходимой информации из видео: сначала извлекаются кадры, а затем распознаются лица и выполняется корректировка для каждого отдельного кадра. Кроме того, авторы этой модели предлагают объединять кадры с течением времени, поскольку временная ковариация захватывает необходимую динамику движения лица. Впоследствии снова используется manifold network для уменьшения размерности и нелинейности в ковариационных матрицах.

Рисунок 3. Обзор представленной модели распознавания лиц на видео

Теперь давайте кратко рассмотрим как использовались covariance pooling и manifold network для изучения второстепенных признаков.

Covariance pooling

Ковариационная матрица использовалась для суммирования второстепенной информации в единое множество. Чтобы сохранить геометрию при использовании слоев симметричной положительно определенной (SPD) manifold network, ковариационные матрицы должны быть SPD. Но, даже если матрицы только положительно полуопределены, их можно нормализовать, добавив кратное следа к диагональным элементам ковариационной матрицы.

SPD Manifold Network (SPDNet)

Ковариационные матрицы, рассчитанные на предыдущем этапе, обычно принадлежат Риманову многообразию SPD матриц. Они очень большие, их размерность необходимо уменьшить без потери геометрической структуры. Кратко рассмотрим конкретные шаги для решения этой задачи:

* Bilinear Mapping Layer (BiMap) выполняет задачу уменьшения размерности при сохранении геометрической структуры.

* Eigenvalue Rectification Layer (ReEig) используется для введения нелинейности.

* Log Eigenvalue Layer (LogEig) наделяет элементы в Римановом многообразии так, что матрицы выравниваются, и применяются стандартные Евклидовы операции.

Обратите внимание, что слои BiMap и ReEig используются вместе, поэтому эти два слоя кратко называются BiRe.

Рисунок 4. Иллюстрация SPD Manifold Network с двумя BiRe слоями.

Чтобы сравнить эффективность предлагаемого подхода с некоторыми базовыми моделями, исследователи использовали два набора данных:

  • Real Affair Faces (RAF) содержит 15331 изображений с семью основными категориями эмоций, из которых 3068 использовались для проверки и 12271 для обучения.
  • Статические выражения лица в естественных условиях (SFEW) 2.0 содержит 1394 изображения, из которых 958 использовались для обучения и 436 для проверки.

Затем было решено экспериментировать с различными моделями, используя covariance pooling.

В подробностях модели рассмотрены в таблице 1.

Таблица 1. Различные модели, рассмотренные для covariance pooling.

Точность моделей, описанные в таблице выше, а также некоторых других state-of-the-art моделей без ковариационного объединения представлена в таблице 2.

Таблица 2. Сравнение точности распознавания изображений для различных моделей

Как видите, модель-2 демонстрирует точность 87% с набором данных RAF и превосходит базовую модель на 2,3%

, что является очень хорошим результатом для такой сложной задачи, как распознавание лиц. Model-4 с covariance pooling показывает улучшение почти на 3,7% по сравнению с базовым уровнем в наборе данных SFEW 2.0, что, очевидно, оправдывает использование SPDNet для распознавания эмоций на изображениях. В целом, эти результаты являются наилучшими результатами для такого рода задач.

Рисунок 5. Образцы из каждого класса SFEW-набора данных, которые были наиболее и наименее точно классифицированы.

Для этой задачи использовался набор данных Acted Facial Equions in the Wild (AFEW)

. Этот набор данных был подготовлен путем нарезки видеороликов из фильмов. Он содержит около 1156 общедоступных видео роликов, из которых 773 были использованы для обучения и 383 для проверки.

Точность результатов предложенных методов с covariance pooling, а также некоторых других современных методов, выбранных для сравнения, приведены ниже. Датасеты, используемые для предобучения других моделей неоднородны, поэтому подробное сравнение требует дальнейших исследований.

Таблица 3. Сравнение точности распознавания на видео для различных моделей.

Как видно из таблицы 3, модель с covariance pooling и четырьмя слоями BiRe смогла превзойти результаты базовой модели. Она также продемонстрировала более высокую точность, чем все другие модели, прошедшие обучение на общедоступных наборах данных. Сеть VGG13, которая показывает гораздо более высокую точность, была обучена на частном наборе данных, содержащий значительно большее количество образцов.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *