распознаем эмоции человека в кадре / Хабр
Нейросети и машинное обучение — перспективная отрасль IT, с каждым годом ML-технологии все глубже проникают в разные сферы, включая бизнес, медицину, науку. Понимая все это, я решил выбрать направление машинного обучения в качестве своей профессии. Меня зовут Артем Раздьяконов, я студент курса “Data Scientist PRO” в Skillbox.
Но сегодня хотел бы рассказать не о своей учебе, а о первом крупном проекте — системе распознавания эмоций. Сразу скажу, что это статья для таких же начинающих, как и я сам. Возможно, кто-то из новичков найдет что-то полезное для себя. Ну а если у профи будут советы — то я только рад. Задавайте в комментариях вопросы, постараюсь на все ответить. Ну а пока — поехали!
Да, кстати, я решил создать именно систему распознавания эмоций, а не что-то другое, поскольку мне было интересно в ходе проекта как бы объединить человека и машину. Идея создания алгоритма, который способен детектировать лица в кадре и определять эмоции людей, показалась подходящей для первого серьезного проекта.
Процесс подготовки данных
На первом этапе я подготовил необходимый для нейросети набор данных. Он включал 9 папок, в каждой из которых находился мой снимок, демонстрирующий какую-либо эмоцию. Количество фотографий каждого класса составило около 6000 изображений, выборка сбалансированная. Кроме того, в архив test_kaggle входило 5000 снимков совершенно разных эмоций, то есть изображения не были маркированы каким-либо классом. Общее количество снимков для тренировки — 40000. Для валидации — 10000.
Немного расскажу о процессе подготовки изображений. Я выбрал такой сценарий работы: данные загружались из Google Drive в локальное хранилище блокнота Colab. После этого создавался генератор с указанием валидационной выборки. Затем — параметры для аугментации данных. Поскольку данные изначально были отсортированы по папкам каждого класса, использовался метод flow_from_directory.
Выбор архитектуры моделей
Это один из важнейших этапов.
Изначально я решил создать простую сверточную сеть с использованием EarlyStopping и ReduceLROnPlateau во избежание переобучения. Итоговая модель вышла на плато при значениях accuracy на валидации в ~0,45.
Отмечу, что старался максимально использовать существующие наработки. Помню, мой преподаватель, Алексей Мастов, говорил, что для классификации в боевых условиях проще всего использовать архитектуры из зоопарка моделей. Другими словами, велосипед в данном случае изобретать не обязательно; лучше взять готовые решения.
Архитектуру я выбирал при помощи статьи «Image Classification Using Pre-trained models». Решил выбрать три архитектуры: MobileNet V2, VGG19 и ResNet50. Главные критерии при выборе — небольшое время инференса и доступность.
Обучение модели
В случае использования этих трех архитектур обучение реализуется при помощи transfer learning и fine-tuning. Первый касается лишь выходного слоя, который может меняться в соответствии с конкретной задачей.
Второй же предполагает обучение либо всех, либо значительной части слоев модели.
Архитектура любой сверточной нейронной сети (а я в своей работе использую именно такую сеть) сконструирована так, чтобы она могла находить и “учить” важные признаки из данных с помощью конволюций или свёрток. Вот интересная ссылка на исследование группы ученых, где наглядно показано, что “видят” нейронные сети. Демонстрация реализована путём визуализации активаций их фильтров на разных слоях. Поначалу фильтры слоев обучаются различать границы или текстуры. По мере продвижения от слоя к слою появляются различия в паттернах, частях объектов, а на финишной прямой — видны и отдельные объекты.
Признаки, которые архитектуры вычленили из ImageNet, отличаются от потенциальных признаков нашего кейса. Так как, скажем, разница между классами «жираф» и «кружка» гораздо больше, чем между эмоциями «радость» и «нейтральное поведение». Дело том, что в первом случае различие между классами может быть заметно уже на этапе границ, а во втором — только на этапе отдельных объектов.
У жирафа очень длинная шея и есть 4 ноги, а кружка просто имеет форму цилиндра с ручкой. В свою очередь весёлое и грустное лицо отличаются характерными мимическими признаками, которые проявляются в зависимости от настроения человека. Соответственно, нам необходимо заново обучить все слои, чтобы сеть определила новые признаки.
Именно поэтому я решил тренировать все слои моделей. Тренировка проводилась на базе GPU. Три модели показали следующие значения Accuracy на валидации: VGG19 0.51, ResNet50 0.49 и MobileNet V2 0.46 (кстати, дополнительную информацию о моделях можно получить при сканировании QR-кода).
Я выбрал VGG19 для работы, изучив инференс. Получилось 58-66 мс на 1 кадр против максимально допустимых 33 мс. Для того чтобы ускорить процесс, доведя результат до нормы, я применил пакет TensorRT с собственным «инференс-движком», который относительно недавно был встроен непосредственно в библиотеку TensorFlow. После подобной модификации модели скорость инференса приблизилась к значениям 5-10 мс на 1 кадр.
Ну а потом дело за малым — нужно сформировать файл для отправки на Kagglе, после чего — скачать архив с тестовыми изображениями, прогнать их все через модель, получить предсказания и отформатировать их. Да, есть важный нюанс — форматировать требуется в алфавитном порядке. Так, индекс «0» соответствует названию эмоции, которая идёт раньше всех. Итоговый файл .csv должен был включать строчки вида «название фотографии», эмоция.
Детектируем эмоцию в кадре
Для того, чтобы решить эту задачу, нужно сначала научить нейросеть находить лицо. Проблема в том, что в кадр попадает вовсе не обрезанное изображение, вроде тех что содержались в базе для обучения. Для этого я решил применить детектор из OpenCV. После детекции лица результат отправляется на вход в сеть, а затем над bounding box выводится классифицированная эмоция.
Что в итоге?
С использованием разработанной модели классификации эмоций была создана система детектирования 9 состояний.
Для удобства я создал как чисто скриптовую версию, так и версию с исполняемым файлом. Для этого я использовал пакет auto-py-to-exe.
Да, в скрипте я контролирую то, каким образом прописан путь к моделям. Это нужно для того, чтобы корректно отработал auto-py-to-exe в процессе создания исполнения файла, а также на тот случай, если кто-то решит запустить сам скрипт у себя на ПК.
Познакомиться с проектом, скачать его и потестировать возможности можно по ссылке. Ну а вот ссылка на курс “Data Scientist PRO” в Skillbox.
Фото эмоций людей бесплатно
Фото эмоций людей бесплатно
|
gif»>
|
Интересный факт, что на протяжении тысяч лет именно основные эмоциональные проявления сохранились у людей без каких либо изменений. Предложенные здесь разные эмоции в картинках помогут точно передать нынешнее состояние души и настроение без лишних слов. Теперь нет необходимости многословно рассказывать о себе, так как, взглянув на картинки, сразу становится понятно, что испытывает человек в данный момент.
|
Похоже, она еще не
верит внезапному счастью!
|
||||||||||
gif»>
Можно ли вызвать эмоции с помощью пейзажной фотографии? – Фототур Тосканы
ВВЕДЕНИЕ
Ответ положительный.
Но позвольте мне предупредить вас: для этого нет волшебной формулы. Это не техника, это не процесс, это не механика. Вы не можете просто сказать «хорошо, теперь пришло время создать образы, вызывающие эмоции» и сделать это. Мне жаль вас разочаровывать, но, к сожалению, это не работает. О, и вы решили вызывать эмоции с помощью пейзажной фотографии, верно? Итак, я думаю, вам нравится трудный путь. Удачи.
Позвольте спросить: сколько пейзажных фотографий вы видели за всю свою жизнь, которые вызвали у вас какие-то эмоции? Осторожно: я не говорю об изумлении, вызванном красотой места, или роскошными цветами, или продуманной композицией.
Пейзажные фотографии имеют одну «проблему»: какими бы красивыми они ни были, зачастую они не более чем. Красивые открытки. Они могут быть совершенно захватывающими, но они не вызовут у вас мурашки по коже, не вызовут у вас мурашек по коже, не вызовут никаких эмоций. Другими словами, красиво, но пусто.
В этой статье я попытаюсь дать вам несколько небольших советов, как стать немного ближе, чтобы вызвать какие-то эмоции у зрителей ваших фотографий.
1. Что делает фотографию отличной?
Переменных, которые следует учитывать при размышлении о том, что делает фотографию отличной, слишком много, чтобы даже составить список. Например,
Свет, несомненно, является одним из наиболее важных факторов, которые могут сделать хорошую или плохую фотографию. Состав тоже играет важную роль.
Тем не менее, я считаю само собой разумеющимся, что тот, кто снимает, отлично разбирается в своем оборудовании и в том, как обращаться с технической частью кадра, самая важная вещь, которая может иметь огромное значение между хорошей фотографией и великолепной, это то, как фотограф имеет отношение к объекту фотографии, к тому, что он/она видит в этой конкретной сцене, какие чувства вызывает у него/она этот конкретный пейзаж и насколько хорошо он/она будет вкладывать эти чувства в фотографию, которую он/она делает. Вам понадобится особая чувствительность, чтобы увидеть то, что не видят другие фотографы; принять эмоции, которые другие не будут чувствовать.
2. Какие примеры эмоций?
Есть бесчисленное количество эмоций, которые вы можете передать своей аудитории с помощью ваших фотографий; о, также помните, что эмоции могут быть настолько субъективными, насколько это возможно, поэтому не ожидайте, что вы вызовете одну и ту же эмоцию у каждого из ваших зрителей, потому что это просто невозможно.
Тем не менее, фотограф, безусловно, имеет большую дискреционную власть в принятии решения о том, какие эмоции вызывают у людей, которые видят его/ее фотографии. Возьмем в качестве примера картинку выше: пока я ее снимал, я уже знал, какие чувства я хотел передать, которые были в основном теми же эмоциями, которые я испытывал, пока был там. Фотография, подобная этой, уж точно не должна вызывать у вас того же чувства, что и картина безоблачного летнего заката: в этом случае при взгляде на снимок вы должны ощущать смесь испуга, беспокойства и страха, а в В другом случае вы должны чувствовать себя расслабленным и умиротворенным.
Теперь мы вместе рассмотрим несколько примеров взаимосвязи между эмоциями, вызываемыми пейзажной фотографией, и условиями (свет, погода, техника и т. д.), которые вам понадобятся, чтобы вызвать эти эмоции.
2.1 Счастье
Эмоцию, которую легко вызвать с помощью других фотографических жанров, счастье может быть трудно передать с помощью пейзажной фотографии; ребенок, который смеется, выражение чьего-то лица, когда они получают важные новости, все это фотографии, которые заставят вас почувствовать себя немного счастливыми.. Общий знаменатель — это люди: это нормально чувствовать больше сочувствия к нашим собратьям. , поскольку мы можем с большой точностью читать и понимать, что чувствуют другие.
Вот почему я сказал вам в начале статьи, что вы выбрали трудный путь. С природой, пейзажами, городскими пейзажами и т. д. вам нужно будет воспользоваться рядом условий, чтобы, по крайней мере, иметь шанс вызвать некоторые эмоции.
В этом конкретном случае вы должны искать в основном солнечные условия, возможно, в золотые часы, и искать хороший передний план, который может создать связь (и, возможно, искрить это чувство счастья) между фоном и зрителем.
На изображении ниже я воспользовался фейерверком, чтобы передать ощущение счастья в городе из-за какой-то местной вечеринки.
2.2 Одиночество
Одиночество может быть передано (эмоционально, не поймите меня неправильно) намного легче, чем многие другие чувства через пейзажную фотографию; главное, на что вы должны обратить внимание, это максимально изолировать объект съемки. Идеальная ситуация была бы, если бы вы могли включить только один главный объект во весь кадр, как я сделал на снимке выше.
Свет должен быть деликатным, без резких контрастов, если они не помогают вам усилить чувство одиночества.
2.3 Спокойствие
Еще одно чувство, которое можно вызвать с помощью пейзажных фотографий, — это спокойствие: в большинстве случаев мы можем легко понять, был ли снимок пейзажа перед нами снят в тихих или в суровых условиях.
Идеальные отражения, неподвижные сцены — это те ситуации, на которые стоит обратить внимание; все, что движется или создает ощущение хаоса, должно быть вне вашего кадра.
Цвета и контрасты должны быть плавными и нежными, постобработка должна быть очень тонкой.
2.4 Бессилие
Это может быть самая простая эмоция, которую можно вызвать с помощью пейзажной фотографии; есть бесконечные величественные виды по всему миру, от скалистых гор до бурных морей, от огромных водопадов до ледников. Почти каждое явление природы, если оно красиво оформлено, заставит зрителя почувствовать себя маленьким и беспомощным. В нашей природе, как у людей, чувствовать эти эмоции перед вещами, которые мы не можем контролировать или которые просто опасны для нас.
Диапазон сюжетов, которые вы можете снимать здесь, слишком велик, чтобы дать вам несколько советов об освещении или погодных условиях: например, вы должны смотреть на приближающийся/уходящий шторм, когда решите снимать морские пейзажи, в то время как вы должны смотреть на чистое небо. если ваша цель — запечатлеть северное сияние в небе. Каждое природное явление нуждается в своих условиях, чтобы запечатлеть его наилучшим образом.
Перед тем, как отправиться на съемочную площадку, подумайте, какие условия вам нужны, чтобы добиться желаемого результата и запечатлеть кадры, способные вызвать эмоции.3. Как вызвать эмоции в фотографии
Как я уже говорил, вызвать эмоции в фотографии — непростая задача.
Если говорить о фотографии в целом, то нас естественным образом тянет к сопереживанию, когда мы видим людей на фотографиях, так как нам легче читать эмоции и чувства, которые они выражают. Таким образом, хороший способ вызвать эмоции с помощью фотографии — включить людей в свои фотографии, возможно, в искренней и естественной позе. Не заставляйте своих моделей выражать определенные чувства, так как результат, вероятно, будет выглядеть неестественно: лучше помогите вашему объекту почувствовать эмоции, которые вы пытаетесь передать своими фотографиями.
Вы также можете получить хорошие результаты, снимая животных, таких как домашние животные, но сделать хороший снимок будет труднее, чем стрелять в людей, так как меньше шансов, что они помогут вам при «моделировании».
Многие из этих кадров довольно клише, но они все равно вызовут у зрителей какие-то эмоции. Собаки, кошки, кролики и т. д. — все это прекрасные объекты; объектив с отличным боке поможет вам изолировать объект и сфокусировать внимание зрителя на животном. Наконец-то мы с нашими любимыми пейзажами! Будь то морской пейзаж, городской пейзаж, абстрактный пейзаж и т. д., отсутствие предмета (человека или животного), ярко выражающего свои чувства, трудно восполнить. Единственный способ вызвать эмоции с помощью таких фотографий — это тщательно спланировать перед съемкой и точно знать, чего мы хотим достичь; это не везение, это не случайность.
Если вы сделаете все, что в ваших силах, чтобы создать эмоциональную фотографию, от изучения прогноза погоды до понимания того, какой свет вам нужен для конкретного снимка (утренний свет? рассеянный свет? свет заката?), вам удастся передать эмоции, которые вы иметь в виду. Вам просто нужно знать, чего вы хотите достичь.
4. Советы по передаче эмоций в фотографии
Даже если, как я уже говорил вам, не существует секретной формулы для передачи эмоций на фотографиях, я могу поделиться несколькими общими советами, которые помогут вам достичь цели.
— Быть невидимым: ну, не буквально.. Но при съемке людей постарайтесь дать им пространство и время, а не давить на них в том, как они должны позировать и/или что они должны делать. Вместо этого постарайтесь заставить их делать это естественно или поместите их в правильный контекст, чтобы это произошло. Если вы снимаете церемонии, они не должны чувствовать вашего присутствия, если только вы не делаете точный снимок, чтобы вы могли запечатлеть их выражения (и эмоции), не заставляя их.
— Используйте правильный свет: неудивительно, что свет в фотографии имеет основополагающее значение, верно? Что ж, если вы хотите, чтобы ваши фотографии вызывали эмоции, вам следует еще более внимательно отнестись к выбору света. Пейзаж даже отдаленно не будет таким же, если снимать при ярком полуденном свете или на восходе/закате. Такого не будет ни с туманом, ни с грозой. Подумайте, какой свет лучше всего подходит для этого пейзажа, и вернитесь к нему, когда возникнут такие условия.
— Сосредоточьтесь на деталях: независимо от того, снимаете ли вы пейзажи, людей или животных, фокусировка на конкретной детали поможет зрителю лучше понять изображение и сконцентрироваться на эмоциях, которые он/она испытывает, глядя на него, а не тратя время на его понимание.
что является предметом изображения.Хотите больше?
По этой ссылке вы найдете еще одну статью об эволюции пейзажной фотографии, которая может вас заинтересовать.
РЕЗЮМЕ
Вызвать эмоции с помощью фотографии непросто, но со временем и усилиями это возможно.
Как я уже говорил в начале статьи, одна из самых важных вещей, когда ваша цель — вызвать какое-то чувство, — это знать, прежде чем делать снимок, какое чувство вы хотите передать. Это может показаться очевидным из-за вашего компьютера, но в большинстве случаев мы настолько сосредоточены на получении правильной экспозиции, наилучшей композиции или использовании правильной техники, что забываем о самом важном: передать что-то с изображениями, которые мы создаем. Не делайте эту ошибку!
Первый генеративный фотобанк на основе искусственного интеллекта
Мы сделали первый и единственный генеративный фотобанк, который позволяет корректировать модели на изображениях на ходу. Похоже на магию? По сути, это машинное обучение.
Все фотостоки одинаковые. Фотографии хорошие и красивые, но всегда есть что-то, что делает их подходящими на 90%, а не на 100%.
В результате вы часами просматриваете тысячи фотографий, пытаясь найти ту, которая подходит вам лучше всего. Обычно это выглядит так: «Вот эта вроде хорошая, но девушка на фото слишком счастлива. Есть еще один, где она не улыбается? Это фото почти идеальное, но парень слишком стар». И так далее. Звучит знакомо?
Мы знаем. Мы тоже были там. Вот почему мы создали новый Moose , первый фотобанк с искусственным интеллектом, где вы можете решить, как люди на фотографиях выглядят на 100 %.
Варианты смены лица в Moose
Вы можете менять эмоции:
Эксперименты с эмоциями. Оригинальное фото, испуганный, удивленный
Сделать людей старше или моложе:
Изменение возраста. Исходное фото, старше, моложе
Обновить их:
Замена лица в Moose. Исходное фото, результат замены лиц
И даже поиграть со своим полом:
Играть с полом.
Оригинал, результат
Игра с полом. Оригинал, результат
Игра с полом. Оригинал, результат
Или удалите и перекрасьте фон, если необходимо:
Удаление фона и перекрасьте его в Moose
Некоторые результаты могут выглядеть странно, как лицо на костяшках пальцев. Чтобы узнать, как использовать Moose для достижения наилучших результатов, ознакомьтесь с приведенными ниже советами.
Поверхности на суставах
Какие фотографии работают лучше всего
ИИ — очень мощная штука, но не всемогущая. Вам лучше начать развивать навыки взаимодействия с ИИ и научиться обращаться с ними, чтобы получить то, что вы хотите. Вскоре это станет обязательным условием для получения работы.
Вот несколько основных правил и подсказок, которые помогут вам получить максимум от функций искусственного интеллекта Moose:
- Выбирайте фотографии с людьми, обращенными лицом к камере, легкие повороты головы также допустимы.
Избегайте чрезмерных поворотов головы
В противном случае результат может быть примерно таким:
Эксперименты с повернутым лицом
- Избегайте фотографий лиц, закрытых волосами, руками, масками, очками, головными уборами и т.
д.
д.Примеры закрытых лиц
- ИИ может добавить цвета черно-белым фотографиям. Вы можете легко исправить это в любом графическом приложении.
Черно-белая фотография, обработанная Moose AI
- Повернутые лица могут иметь небольшие «промежутки» между бровями после смены лица. Тот же эффект может появиться на фотографиях с волосами близко к лицу. Вы можете исправить зазор с помощью инструмента штампа клонирования в Photoshop или другом подобном приложении или попробовать другое донорское лицо.
«Промежуток между бровями» после замены лица
- В качестве альтернативы смене возраста вы можете попробовать заменить исходное лицо более молодым или пожилым человеком.
Оригинал, после смены возраста, после смены лица с пожилой женщиной
Что дальше
Вскоре мы добавим другие удивительные вещи. Вы сможете изменить этническую принадлежность, прическу, телосложение и многое другое. Обычные фотостоки — это вчерашний день.