ToF сегодня. Получение 3D-изображения: необходимо или избыточно

Сегодня же, вместе с непрекращающейся миниатюризацией и ростом функционала полупроводников, мы видим, как еще недавно фантазийные технологии обретают свое место среди привычных для нас приборов. ToF-сенсор в смартфоне (рис. 1) теперь должен установить каждый уважающий себя производитель, и именно на отсутствие датчика укажут все, кому доведется написать обзор о мобильной новинке. Но так ли он необходим, и вообще — зачем нужен этот ToF-сенсор?

Рис. 1. ToF-сенсор Gpixel GTOF0503

Сама по себе времяпролетная технология существует довольно давно, ее, вероятно, позаимствовали у летучих мышей, измеряющих расстояние до объекта по времени, необходимому для возвращения испускаемого ими же ультразвукового сигнала. Похожий принцип используется во всем известной медицинской процедуре МРТ, где картинку получают с помощью анализа отраженного сигнала различной частоты. Получать видеосигнал аналогичным способом научились недавно, с тех пор стараясь найти для новой технологии стóящие применения. Их к нашим дням набралось немало.

Абсолютное внимание сегодня принадлежит флагманским смартфонам, где для сохранения репутации уже никак нельзя обойтись без ToF-сенсора. К той же категории можно отнести и различные бытовые приборы, вроде игровых приставок и домашних ПК. Не исключено, что, как и Wi-Fi, времяпролетные камеры вскоре будут установлены даже в чайнике. Пока что технология применяется, например, для распознавания лица владельца устройства Face-ID, создания дополненной реальности (рис. 2), бесконтактного взаимодействия пользователя с контентом (рис. 3), метрологии. Проще говоря, последние функции позволяют расставить мебель в квартире, в реальном времени дорисовывая диван или кухонный гарнитур на экране смартфона, при этом измеряя реальные размеры предметов с завидной точностью. И можно заказать пару новых кроссовок из онлайн-магазина, примерив их и рассмотрев со всех сторон, — разве это не удобно?

Рис. 2. Пример создания дополненной реальности (источник: Sony Depth Sensing website)

Рис. 3. Пример бесконтактного взаимодействия пользователя с контентом (игровой контроллер Kinect)

«Боке» — это слово, наверно, знает сегодня каждый. Художествен-ный эффект, позволяющий выделить объект съемки путем размытия фона, достигается обычно за счет свойств сенсора и оптики, объектива камеры, а именно определенного фокусного расстояния и светосилы и определяется получаемой глубиной резкости. Необходимых значений параметров оптики для получения такого эффекта при помощи камеры мобильного телефона достичь не удается. И сегодня боке в камере мобильного телефона формируется программным способом, в том числе комбинацией информации, полученной с нескольких камер одновременно. Причем наибольшей точности удалось добиться именно при помощи трехмерной карты снимаемого объекта для его выделения и последующего размытия фона. Именно эти, мобильные применения и дали существенный толчок развитию ToF-технологии получения объемного изображения изучаемого объекта в реальном времени. Что же до других социально значимых задач, решить которые должны ToF-камера и ToF-сенсор, среди них стоит особо отметить автомобильные вспомогательные системы. Ведь именно они сегодня все чаще становятся незаменимыми помощниками водителей и призваны сократить число несчастных случаев на дорогах. Это и системы автономного вождения (рис. 4), разрабатываемые по всему миру, и системы автономной парковки автомобиля, навигации дронов, и системы контроля приближения пешеходов, а также других транспортных средств. Немаловажен и внутренний комфорт водителя, поведение которого также контролируют модули, основанные на построении его трехмерной модели. Они помогают следить за состоянием и поведением водителя (рис. 5), позволяют изменять натяжение ремня безопасности в соответствии с телосложением, количеством одежды и движений водителя, настраивать положение и форму кресла и даже распознавать владельца транспортного средства для улучшения контроля доступа к функционалу автомобиля. Все это дополняет эргономические усовершенствования, ведь при помощи анализа движений трехмерной модели водителя появляется возможность бесконтактного управления жестами.

Рис. 4. Автомобиль с системой автономного вождения (источник: Sony Depth Sensing website)

Рис. 5. Пример распознавания жестов водителя (источник: Sony Depth Sensing website)

Однако следует помнить, что именно индустрии мы обязаны развитием ToF-технологии. Ведь в промышленности эти приборы давно применяются, и во многих отраслях они сегодня незаменимы, в том числе при измерении и контроле заполнения объема, что нередко можно наблюдать в автоматизированных, а тем более в автоматических системах — например, для автоматического нанесения логотипа на поверхность упаковки, вне зависимости от формы и размера объекта.

На рис. 6 показана работа автоматического склада, где две камеры погрузчика позволяют без участия оператора управлять машиной и выполнять погрузку. В этом примере при создании камеры использовался новейший iToF-сенсор Gpixel GTOF0503.

Рис. 6. Кадры испытаний автоматического управления погрузчиком на основе двух iToF-камер на базе сенсора Gpixel GTOF0503

В приведенной автоматической складской системе верхняя камера погрузчика позволяет определить общую обстановку, выявить препятствия и избежать столкновений. Фронтальная камера проводит измерение и идентификацию объектов, расположенных перед ней. Такое сочетание помогает точно и эффективно управлять погрузчиком, полностью контролируя пространство вокруг него. Производных у такого применения может быть множество, и что касается управления беспилотными устройствами, здесь переоценить ToF- и 3D-измерения невозможно — без них сегодня было бы действительно сложно получить достойный результат.

Но давайте отвлечемся от практических применений и обратимся к самой технологии и ее основе — сенсорам изображения, без которых ни о каком 3D не могло бы быть и речи.

На рис. 7 схематично показаны принципы работы основных широко применяемых сегодня индустриальных систем построения 3D-изображения. Среди них (слева направо) лазерная триангуляция, системы на основе структурированного света и времяпролетные системы, о которых шла речь в начале статьи. Поговорим коротко о каждой из них.

Рис. 7. Примеры основных методов получения и анализа 3D-изображения (источник: ZIVID AS):
а) лазерная триангуляция;
б) системы на основе структурированного света;
в) времяпролетная система

Лазерная триангуляция

Широко распространенная лазерная триангуляция относится к простейшим системам и основана на двух ключевых компонентах: лазерном излучателе и принимающей сигнал камере. Такая система проста в реализации как с точки зрения физических компонентов и их согласования, так и в написании алгоритмов программного обеспечения. Лазерная триангуляция — технология сканирующая, она как нельзя лучше подходит для поточных производственных и логистических линий, дорожного и ж/д полотна. Однако для изучения трехмерных объектов данный способ хотя и применим, но неудобен ввиду необходимости организации множества точных перемещений для сканирования всей поверхности изучаемого объекта. К тому же с таким методом стоит забыть про информацию о цвете.

Какие сенсоры понадобятся для реализации этого метода? Критичными параметрами станут кадровый затвор (Global Shutter), разрешение по горизонтали (разрешение по вертикали ограничено сканирующим видом получения изображения) и соотношение сигнал-шум (SNR), обусловленное величиной накапливаемого сигнала (размером пикселя). Все эти параметры отвечают за точность построения итогового изображения. Немаловажной станет и высокая кадровая частота.

В качестве примера приведем два сенсора Gpixel: первый — индустриальный GMAX2509 с разрешением по горизонтали 4200 пикселей, кадровой частотой до 618 Гц при ограничении в 1000 строк и SNR 38,3 дБ. Второй — представитель сверхскоростной серии GSPRINT4510 с горизонтальным разрешением 4608 пикселей, скоростью считывания 3886 Гц при ограничении в 1000 строк и SNR 44,8 дБ.

Системы на основе структурированного света

Системы на основе структурированного света имеют сходство с принципом лазерной триангуляции, но вместо точечного лазерного излучения здесь используется подсветка поля. Это называется методом полного поля, поскольку он обеспечивает полное трехмерное изображение объекта с высоким уровнем точности и разрешения. Метод широко распространен в AOI — автоматической оптической инспекции объектов для одномоментного, однокадрового построения 3D-изображения исследуемого объекта, что демонстрирует высокую производительность и гибкость. Однако такой метод требует статичности исследуемого объекта и чаще всего используется в лабораторно-производственном оборудовании.

Сенсоры для системы на основе структурированного света также должны отличать кадровый затвор (Global Shutter), большое разрешение (В×Г) предпочтительно в соотношении 1×1, хороший SNR для обеспечения точности построения 3D-объекта и режим HDR. Все эти характеристики отлично представлены в сенсорах Gpixel индустриального GMAX и сверхскоростного семейства GSPRINT с кадровым затвором. GMAX3265 c разрешением 9344×7000 (В×Г) с кадровой частотой до 71 Гц при полном разрешении, SNR 40 дБ и чересстрочным HDR. GSPRINT4521 c разрешением 5120×4096 (В×Г) выдает до 1000 Гц при полном разрешении с SNR 44,8 дБ и полнокадровым HDR-режимом за счет одновременного считывания кадра с разными коэффициентами усиления.

Времяпролетные системы

Возвращаясь к времяпролетным системам (Time of Flight), уточним, что в отличие от пространственных систем они основаны на измерении периода времени, необходимого для пролета света от источника до объекта и обратно. Сам метод делится еще на два подвида, прямой (direct, dToF) и непрямой (indirect, iToF), в которых время измеряется напрямую и за счет анализа фазового соотношения между излучаемым и детектируемым светом с синусоидальной модуляцией интенсивности соответственно. Развитием второго метода является импульсный метод, в котором лазер излучает очень короткие световые импульсы в сочетании с синхронизированным сенсором изображения со стробированием. В последнем случае для построения 3D-изображения попиксельно анализируется количество накопленного сигнала, принимаемого пропорционально за дальность нахождения точки объекта.

Заключение

В настоящее время ToF-приборы интенсивно используются в самых разнообразных направлениях. Сегодня эти устройства стали действительно эффективными и компактными, что еще более расширило области их применения. Построение и анализ 3D-изображения объекта и его окружения с ToF возможны в реальном времени и на различном удалении. Впрочем, проектировщикам еще есть над чем поработать — малое разрешение сенсоров и конечных систем. Но и это лишь вопрос времени. Для достижения максимальной результативности ToF-система сегодня должна быть основана на сенсоре, отвечающем следующим требованиям:

• Кадровый затвор (многоступенчатый, multi-tap Global Shutter) для максимально резкого изображения без размытия.
• Обратная засветка (BSI), высокая частота модуляции (время передачи <5 нс) и комплексная встроенная схема синхронизации на кристалле. Все это необходимо для получения достоверной точности получаемого изображения в реальном времени.
• Высокая частота кадров для точной фиксации объекта в каждый момент времени.
• Встроенные схемы захвата и считывания для обеспечения гибкости системы.

Ярким примером ToF-сенсора, отвечающим всем этим требованиям, служит новая матрица Gpixel GTOF0503 (рис. 1, 8).

Рис. 8. ToF-сенсор Gpixel GTOF0503

Этот BSI КМОП-сенсор создан при всесторонней поддержке индустриальных партнеров, с учетом их пожеланий и реально востребованных функций. Разрешение матрицы 640480 пикселей размером 5 мкм каждый, трехступенчатый кадровый затвор (3‑tap Global Shutter), контраст демодуляции до 80% при 165 МГц, время передачи 3–5 с — все эти параметры как нельзя лучше соответствуют требованиям индустрии. Дополненный кадровой частотой до 60 Гц при полном разрешении и широким операционным функционалом вроде встроенного биннинга, отражения по горизонтали и вертикали, выделения областей интереса (ROI), множества режимов захвата изображения, востребованного интерфейса MIPI, датчик может претендовать на звание одного из лучших представителей ToF-сенсоров.

В заключение приведем визуальное сравнение кадров, полученных в идентичных условиях с применением сенсоров Sony IMX516, Gpixel GTOF0503 и а Samsung (рис. 9).

Рис. 9. Визуальное сравнение кадров, полученных в идентичных условиях с применением сенсора:
а) Sony IMX516;
б) Gpixel GTOF0503;
в) Samsung

Сенсоры демонстрируют схожие параметры, ну а окончательное решение, конечно же, принимает потребитель, в соответствии с имеющимися требованиями и поставленными задачами.

Однако следует заметить, что сегодня, вне всяких сомнений, ToF-сенсоры не только стали неотъемлемой частью промышленности и автоиндустрии, но и прочно закрепились в жизни обычных людей. Стоит лишь немного углубиться в техническое оснащение современной бытовой электроники, как на поверхности окажутся ToF-сенсоры, помогающие сделать жизнь людей более эффективной и комфортной.