Встраиваемые системы распознавания лиц, мимики и жестов от компании Omron

PDF версия
Обзор возможностей программного пакета OKAO Vision, работающего на аппаратной платформе встраиваемого модуля Human Vision Components (HVC), в сфере визуального распознавания лиц, мимики и жестов.

Системы визуального распознавания помогают компаниям узнать своих покупателей «в лицо»

В крупных компаниях, поставляющих свои товары и услуги, руководство достаточно много внимания уделяет вопросам, насколько востребована их продукция на рынке. Целые отделы маркетологов упорно и тщательно исследуют потребительский спрос и стремятся скорректировать требования к собственной продукции так, чтобы повысить ее привлекательность и обеспечить рост продаж.

Да, конечно, существуют такие способы получения подобной информации, как проведение социальных опросов и анкетирование посетителей торговых залов. Однако для этого компании нужно еще нанять специальных сотрудников, оплатить их работу и ждать, пока они соберут и отсортируют результаты опросов населения. Да и при каждом подобном исследовании затраты времени и денег будут повторяться из раза в раз.

К тому же следует учитывать человеческий фактор. Ведь некоторые люди склонны избегать участия в анкетировании (ввиду незаинтересованности или занятости) или же предоставлять недостоверную информацию (например, стесняются быть откровенными с представителями компании-производителя и оставлять негативные отзывы о продукции, если они есть).

Один из альтернативных способов понять, как покупатели действительно реагируют на определенные товары и услуги, — отследить и проанализировать их эмоциональное состояние в момент приобретения. Как ведут себя покупатели: с радостью кладут предлагаемый товар в свою корзину или же хмуро удаляются в сторону прилавков конкурентов.

Существует возможность автоматизировать большую часть такой работы, прибегая к внедрению специальных электронных систем. Они способны достаточно быстро и относительно недорого предоставлять достоверные результаты по части распознавания лиц покупателей, их пола и возраста, а также оценивать их предполагаемое эмоциональное состояние.

Таким образом, системы распознавания могут, например, собирать полезную и столь интересующую маркетологов статистику, каким возрастным группам больше нравится тот или иной товар или как зависит спрос на продукцию от пола покупателей.

В то же время данные системы могут значительно улучшить качество и комфортность взаимодействия между человеком и машиной: в зависимости от конкретной личности пользователя или от принадлежности его к определенной группе компьютер будет предоставлять наиболее подходящие товары и услуги.

 

Другие возможности применения систем распознавания

Разумеется, практическое внедрение подобных систем распознавания представляет интерес во многих, самых разнообразных областях.

Например, это могут быть системы энергосбережения в «умных домах», с поддержкой детектирования присутствия и в зависимости от числа домочадцев настройкой освещения, отопления и кондиционирования помещений.

При обеспечении автоматизации зданий можно доверить системам распознавания такие ответственные задачи, как контроль доступа на объектах. Разграничивать и разрешать или запрещать присутствие тем или иным персонам в определенных зонах объекта. Можно выполнять обнаружение нежелательных персон, чтобы пресечь их нахождение на объекте. Или, напротив, в экстренных ситуациях, требующих оперативного взаимодействия, быстро найти нужного сотрудника.

В мобильных приложениях системы распознавания применяются для защиты данных от несанкционированного доступа или для совершения различных финансовых транзакций.

Наконец, это могут быть такие варианты применения, как автофокус при фото- и видеосъемке, всевозможные роботизированные игрушки, которые включаются при обнаружении детей и исполняют сценарий игры в зависимости от настроения владельцев.

 

Продукция Omron для визуального распознавания

В настоящее время целый ряд различных компаний занимается разработками, связанными с системами визуального распознавания. Среди них, пожалуй, особого внимания заслуживает японская компания Omron — ведущий мировой производитель электронных компонентов и систем, активно работающий в данном направлении.

Инженеры Omron смогли преодолеть одну из основных трудностей в реализации систем визуального распознавания: до сих пор обработка данных была неразрывно связана с высокой вычислительной мощностью и большими затратами памяти. Однако в Omron удалось создать собственные алгоритмы, которые позволяют существенно уменьшить размер обрабатываемых файлов, обеспечивают высокую скорость обработки, сохраняя при этом приемлемую точность.

В секторе визуального распознавания Omron выпускает два продукта. Это программный пакет OKAO Vision и аппаратный модуль Human Vision Components (HVC) с предустановленным программным обеспечением.

 

Аппаратные характеристики модуля HVC

В качестве оборудования системы распознавания поставляется модуль B5T‑001001(G) HVC, включающий встроенную камеру с разрешением 640×480 пикселей и блок захвата изображений и обработки антропометрических метрик по обнаруженным объектам (рис. 1).

Внешний вид модуля Human Vision Components (HVC)

Рис. 1. Внешний вид модуля Human Vision Components (HVC)

По сути, это компактный законченный модуль с предустановленным программным обеспечением ОКАО Vision.

Программное обеспечение OKAO устанавливается на пользовательской плате, от нее же на модуль поступает напряжение питания (+5 В). Обмен данными между модулем HVC и пользовательской платой осуществляется через последовательный асинхронный интерфейс UART (рис. 2). Скорость обмена пользователь реализует программно — максимальная поддерживаемая скорость составляет 921 600 бит/с.

Структура системы распознавания на базе модуля HVC

Рис. 2. Структура системы распознавания на базе модуля HVC

Наряду с высоким быстродействием и достаточной компактностью модуль HVC имеет следующие основные преимущества:

  • полностью законченное устройство с предустановленным программным обеспечением, оптимизированное для встроенного ПО;
  • работа, независимая от мощности CPU оконечного устройства;
  • результат не зависит от расовой и этнической принадлежности исследуемой персоны;
  • простота в сопряжении, широкие возможности для интегрирования в различные виды оборудования;
  • малые габариты устройства: 60× 40× 15 мм;
  • техническая поддержка и протоколы сопряжения поставляются бесплатно.

Основные технические характеристики приведены в таблице 1.

Таблица 1. Основные технические характеристики модуля HVC

Параметр оборудования

Значение

Напряжение питания

5 В ±10%

Потребляемая мощность

<0,25 A

Рабочая температура

0…+50 °C

Рабочая относительная влажность

<90%

Температура хранения

–30…+70 °C

Относительная влажность хранения

<90%

Спецификация входных параметров приведена в таблице 2, а выходных параметров — в таблице 3.

Таблица 2. Спецификация входных параметров модуля HVC

Параметр оборудования

Значение

Разрешение камеры

640×480 пикс

Горизонтальный угол обзора

49 ±3°

Вертикальный угол обзора

37 ±3°

Диапазон углов оптических осей

±7°

Диапазон подстройки углов

±3°

Таблица 3. Спецификация выходных параметров модуля HVC

Параметр оборудования

Значение

Выходное изображение

Без изображения/160×20 пикс/320×240 пикс (по выбору)

Формат изображения

RAW (8-бит, Y-данные)

С точки зрения программного сопровождения, производитель предлагает пакет ОКАО Vision. Он предназначен для установки и совместного использования с аппаратным модулем HVC.

Системные требования минимальны: для ПЗУ — 450 кбайт, для ОЗУ — 370 кбайт. ОКАО обрабатывает набор антропометрических метрик и сохраняет их в виде файла данных относительно небольшого размера, не выше 1,5 кбайт. На MSM 6300 полный цикл обработки таких данных занимает около 1 с.

С точки зрения применения в портативных и встраиваемых системах, OKAO Vision достаточно универсален, поскольку полностью совместим с наиболее распространенными операционными системами для мобильных телефонов (Symbian, ITRON, BREW и Linux).

Пакет ОКАО Vision поддерживает расширенный набор возможностей по обработке поступающих визуальных данных, которые благодаря удобной и гибкой настройке позволяют использовать эту систему распознавания для самых разнообразных сфер применения.

Вот лишь краткий перечень основных возможностей пакета:

  • Детектирование лица и присутствия человека:
    • детектирование лица (по сравнению с большинством аналогов, имеющих значительные ограничения на положение лица относительно распознающей видеокамеры, данная система обеспечивает обнаружение в 360° плоскости вращения с учетом перемещения);
    • при невозможности детектирования лица и идентификации личности детектируется факт присутствия человека.
  • Детектирование частей лица:
    • направление взгляда и отслеживание моргания, оценка степени закрытия глаз;
    • детектирование контуров и частей лица для оценки эмоционального состояния, редактирования фото и видео;
    • достоверно независимо от направления лица и настроения.
  • Узнавание людей, оценка пола, возраста, эмоционального состояния:
    • достоверно независимо от расовой и этнической принадлежности персоны;
    • узнавание конкретной персоны;
    • оценка пола и возраста с возможностью подстройки под возрастную категорию;
    • оценка «степени улыбки»;
    • оценка эмоционального настроя, количественное выражение степени негативности или позитивности.
  • Дополнительные возможности:
    • распознавание движений и жестов;
    • детектирование домашних животных.

В таблице 4 приводится перечень характеристик пакета ОКАО Vision при работе в различных режимах распознавания объектов.

Таблица 4. Характеристики обработки ОКАО Vision в различных режимах распознавания

Режим распознавания

Выходные данные

Описание

Обнаружение присутствия человека, обнаружение жестов рук

Количество обнаруженных объектов

Максимально 35 объектов каждого типа

Положение (координаты центра)

Координаты на экране начиная с левого верхнего угла, пикс

Размер

Размер входного изображения, пикс

Степень уверенности

Уверенность в результате обнаружения (от 0 до 1000). Наибольшее значение соответствует наибольшей уверенности

Оценка направления лица

Угол рыскания

Положительный вправо, градусы

Угол тангажа

Положительный вверх, градусы

Угол крена

Положительный по часовой стрелке, в градусах

Степень уверенности

Уверенность в результате обнаружения (от 0 до 1000)

Оценка возраста

Возраст

От 0 до 75 лет (всем более взрослым персонам присваивается значение 75)

Степень уверенности

Уверенность в результате обнаружения (от 0 до 1000)

Оценка пола

Пол

Мужской или женский

Степень уверенности

Уверенность в результате обнаружения (от 0 до 1000)

Оценка моргания

Степень открытости глаз

Среднее для двух глаз, от 1 (глаза открыты) до 1000 (закрыты полностью)

Оценка настроения

Установленный тип настроения

Вектор вариантов: «нейтральный», «счастье», «удивление», «гнев» и «печаль». Выходным считается вариант с наибольшим баллом (ниже)

Балл

Указывает, насколько лицо соответствует каждому из вариантов настроений. От 0 до 100. Более высокий балл указывает на более высокую вероятность соответствия конкретному настроению

Степень проявления

От –100 до +100. Отрицательные значения используются для эмоций «удивление», «гнев» и «печаль». Положительные — для эмоции «счастье»

Распознавание лиц

Результат индивидуальной идентификации

Отображает идентификатор персоны, зарегистрированной в системе. Максимальное число различных персон в полной версии — 500

Балл

Степень соответствия, от 0 до 1000. Более высокий балл указывает на более вероятное соответствие данной персоне

Оценка взгляда

Угол рыскания

Положительный вправо, градусы

Угол тангажа

Положительный вверх, градусы

В таблице 5 указаны ориентировочные предельные расстояния до объектов, позволяющие успешно распознать их в различных режимах. Следует учитывать, что в случае превышения указанных максимальных расстояний качество обнаружения и оценки объектов будет постепенно снижаться.

Таблица 5. Предельные расстояния до распознаваемых объектов

Режим распознавания

Предельное расстояние

Обнаружение присутствия человека

2,8 м

Обнаружение жестов рук

1,5 м

Обнаружение лиц

Оценка направления лица

Оценка возраста

Оценка пола

Оценка моргания

Оценка настроения

Распознавание лиц

Оценка взгляда

1,3 м

Как можно видеть, разработчики ОКАО Vision предлагают большой набор интересных возможностей визуального распознавания, с помощью которых можно получить достаточно детальную и полную информацию. А значит, в практическом применении система способна стать довольно полезной в разных сферах применения, где необходим сбор и анализ визуальных данных по обнаружению людей, распознаванию их лиц, жестов, мимики и т. п.

 

Заключение

В статье представлен обзор возможностей программного пакета визуального распознавания OKAO Vision от компании Omron.

В основе используемой технологии — собственные алгоритмы распознавания изображений компании Omron, обеспечивающие высокую скорость обработки при сохранении приемлемой точности.

Это обеспечивает перспективу широкого распространения OKAO в системах визуального распознавания для цифровых камер, мобильных телефонов и роботизированных средств видеонаблюдения.

При этом использование OKAO на аппаратной платформе рассмотренного встраиваемого модуля HVC специально оптимизировано для обработки цифровых и оптических данных и оптимально для различных сфер применения — будь то маркетологические исследования, мобильные приложения, системы видеонаблюдения, автоматизации производства и энергосбережения зданий или какие-либо другие варианты использования возможностей визуального распознавания.

Литература
  1. Gabriel Sikorjak. HVC-P: Human Vision Com-ponent. Sales presentation. Electronic & Mechanical Components Company. 2014.
  2. Модуль B5T‑001001(G) Human Vision Compo-nents Datasheet Omron.
  3. Официальный сайт производителя www.omron.com/ecb/products/mobile

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *