Мобильные CMOS-камеры. Трехмерная эволюция технологий

PDF версия
Компании-производители CMOS-датчиков разработали множество новых технологий для поддержания качественной съемки не только в обычных, но и в сложных условиях освещенности. В первой части статьи большое внимание было уделено технологии обратной подсветки пикселей (BSI) — основополагающей в эволюции современных мобильных камер. Технология BSI позволила устранить компромисс между разрешением и светочувствительностью и впервые сделала возможной 3D-интеграцию с пиксельной частью электроники обработки изображения. Но работа производителей над совершенствованием мобильных CMOS-датчиков изображения продолжается, в том числе и в направлении снижения размера пикселей. В продолжении статьи мы акцентируем внимание на других технологиях мобильных CMOS-датчиков, к которым относятся модификация цветовых фильтров, захват изображений с высоким динамическим диапазоном (HDR) и низкими шумами (CNR), автофокусировка, оптическая стабилизация изображений, зум, затвор и т. п. Новые технологические решения системно интегрируются на уровне пиксельных кристаллов так, чтобы обеспечивалось более высокое качество изображений — без компромисса с быстродействием и при одновременном снижении размеров датчиков, потребления мощности и цены.

Продолжение. Начало в № 12`2012

Другие технологии для повышения качества изображений мобильных CMOS-камер

Уменьшение размера пикселей для достижения более высокого изображения ухудшает светочувствительность фотодиодов, но только теоретически, так как компании-производители CMOS-датчиков разработали множество новых технологий для поддержания качественных съемок в условиях низкой освещенности. Для оптимизации сбора света Sony, OmniVision, Aptina и другие компании стали применять световоды — при обычном освещении пикселей (FSI) и заднюю подсветку (BSI), что позволило снизить размер пикселей, повысить число пикселей на кристалле (именуемое разрешением) без компромисса со светочувствительностью и соотношение сигнал/шум (SNR) при низкой освещенности.

Датчики изображения с задней подсветкой (backside illumination, BSI) — ключевая технология CMOS-камер, позволившая добиться одновременного повышения чувствительности датчиков и уменьшения размера пикселей. Такая архитектура дает возможность далее стирать различия пиксельных структур CMOS и CCD, главным отличием которых является интеграция усилителя с каждым CMOS-фотодиодом. Так как BSI-фотодиоды занимают максимальную площадь в верхней части кристалла, то повышение чувствительности CMOS-пикселей еще больше приблизилось к уровню CCD. Технология BSI уже сделала возможным 3D-стекирование пиксельной и схемной секций, что и продемонстрировала компания Sony на примере технологии Exmor RS.

Но работа производителей над совершенствованием мобильных CMOS-датчиков изображения продолжается, в том числе и в направлении снижения размера пикселей, так как мобильным рынком уже востребован размер (шаг) пикселей порядка 1,1 мкм и даже 0,9 мкм. Ведущие производители не ограничиваются применением своих оригинальных разработок технологии BSI и ищут новые пути для повышения светочувствительности и других дифференцирующих характеристик модулей мобильных камер. Важнейшим из них является модификация цветовых фильтров — отход от традиционных паттернов Байера с применением чистых пикселей — для малошумящего захвата изображений в условиях низкого освещения.

Другие ключевые мобильные технологии камер включают:

  • захват изображений и видео с высоким динамическим диапазоном (High Dynamic Range, HDR);
  • малошумящий захват изображений и снижение цифрового цветового шума (Color Noise Reduction, CNR);
  • автофокусировку, включая МЭМС-автофокусировку;
  • зуммирование;
  • электронный затвор;
  • оптическую стабилизацию изображений посредством гироскопов;
  • 3D-стекирование кристалла датчика изображения, схемы обработки изображений, оптических элементов, включая WLP, CSP-корпусирование, производство оптики на уровне пластины (WLO);
  • 2D- и 3D-вычислительную визуализацию;
  • 2D- и 3D-распознавание лиц;
  • 2D- и 3D-распознавание жестов;
  • 3D-автостереоскопию;
  • 3D-визуализацию посредством пиксельного кристалла, принципов ToF и Structured Light и ряд других.

Как видно, работа производителей далеко не ограничивается пиксельным уровнем и задействует смежные мобильные технологии. Тенденция всеобъемлющего развития цифровых технологий привела к росту доступности для мобильных платформ аппаратного и программного обеспечения обработки изображения. Технологии распознавания лиц и жестов, вычислительной и 3D-визуализации посредством двух мобильных камер, вычисление расстояния по принципу ранжирования ToF и даже обычный захват изображений посредством камер, но в сложных условиях освещения — все это становится возможным благодаря развитию мобильных процессорных технологий.

Доступность технологии МЭМС для мобильных устройств обуславливает распространение в сегменте мобильных камер технологий оптической стабилизации изображений, ставшей уже популярной в цифровых фотоаппаратах. Мобильный рынок стимулирует развитие новых МЭМС-технологий, например МЭМС-автофокусировки или зуммирования. И особую роль в развитии технологий камер играет мобильный пользовательский интерфейс: в стремлении сделать его более естественным лидирующие производители камер акцентировали свое внимание вначале на технологиях распознавания лиц и жестов, а затем вплотную занялись созданием 3D-видеоинтерфейса с пользователем.

Эволюция современных мобильных камер весьма многогранна и на этом основании может считаться более чем трехмерной, даже независимо от появления первых стекированных BSI Exmor RS датчиков Sony и развития мобильных технологий 3D-визуализации из категории развлекательных, к которым относится пользовательская 3D-съемка или просмотр/редактирование 3D-контента.

Мы будем поэтапно анализировать технологии мобильных камер из вышеприведенного списка, в связи с чем перейдем к рассмотрению технологий для мобильных применений следующего ведущего производителя — компании Aptina. Особый акцент сделаем на технологии Clarity+, которая в результате дает более высокую светочувствительность и меньшие размеры пикселей. А достигнуто это было путем модификации RGB паттерна Байера и применением аппаратно-программных средств обработки изображений.

 

Ключевые мобильные технологии от Aptina: BSI и Clarity+

Ключевые технологии Aptina — A‑Pix, DR-Pix, A‑PixHS, Global Shutter, Clarity+ и Mobile HDR.

Технология Aptina A‑Pix представляет собой пиксельную технологию FSI со световодом и глубоким фотодиодом на основе 65‑нанометрового пиксельного дизайна. Новое, уже третье поколение Aptina A‑Pix имеет более высокую квантовую эффективность и минимизирует взаимопроникновение пикселей с целью захвата резких изображений с яркими цветами даже в условиях низкого освещения, что для обычных датчиков является проблемой.

Технология Aptina DR-Pix объединяет в одном пиксельном дизайне два режима работы — с низким усилением при преобразовании большой емкости заряда, обрабатываемого для ярких сцен, и с высоким усилением преобразования заряда. Второй режим характеризуется высокой чувствительностью и низкими шумами в условиях низкого освещения. Название DR-Pix указывает на применение технологии динамического срабатывания пикселей (dynamic response pixel), разработанной в ответ на рыночные потребности в технологиях высокого динамического диапазона.

Ключевые технологии от Aptina для повышения светочувствительности пикселей

Рис. 4. Ключевые технологии от Aptina для повышения светочувствительности пикселей: A‐PixHS (BSI) и Clarity+ (модификация цветового фильтра): а) технология обратной подсветки пикселей A‐PixHS — в основе решения Clarity+;
б) сущность решения Clarity+ — замена зеленых пикселей в RGB паттерне Байера на белые, имеющие более высокую чувствительность;
в) блок‐схема алгоритма обработки изображений Clarity+;
г) точность цветопередачи датчиков Clarity+ (слева) и с цветофильтром Байера (справа)

Технология A‑PixHS основана на задней подсветке пикселей (BSI), фоточувствительная область которых примыкает к линзе (рис. 4а), а в остальном использует те же инженерные методы, что и A‑Pix, и отличается высокочувствительной и высокоскоростной пиксельной архитектурой.

Технология Clarity+ (рис. 4) основана на A‑PixHS 3‑го поколения и представляет собой модификацию традиционного RGB цветового фильтра матрицы Байера в сочетании со специальной обработкой изображений. Это позволило повысить чувствительность вдвое по сравнению со стандартной технологией RGB BSI и снизить размер пикселей — с 1,4 мкм BSI до 1,1 мкм и даже 0,9 мкм.

Решение Clarity+ от Aptina

Технология Clarity+ была разработана специалистами Aptina в ответ на рыночные потребности улучшения SNR при низкой освещенности. В этой области многие компании-производители датчиков изображения продемонстрировали интерес к технологии панхроматических чистых — Clear (C) — пикселей, которые вырабатывают приблизительно в два раза более высокий сигнал, чем традиционные пиксели RGB.

Clarity+ стала достижением Aptina в технологиях захвата изображения при низкой освещенности, поскольку сочетает в себе новые паттерны цветовых фильтров на основе Clear-пикселей c мощной обработкой изображений для улучшения производительности (рис. 4б). С технологией Clarity+ пиксели размером в 1,1 мкм могут выполнять те же задачи, что и RGB-пиксели размером в 1,4 мкм, или делать это в два раза лучше, чем традиционные RGB-пиксели размером в 1,1 мкм. Двукратное улучшение по сравнению с традиционными RGB-пикселями распространяется на все размеры пикселей, в том числе 0,9 мкм: пиксели с таким шагом в настоящее время находятся в стадии разработки.

Для иллюстрации своих нововведений Aptina публикует таблицу, сравнивающую паттерны цветовых массивов фильтров Color Filter Array (CFA) Байера и новые технологии различных производителей, на фоне которых технология Clarity+ позиционирована выгодным образом.

Удивительно простой паттерн Байера RG/GB (крайний слева в таблице), бывший стандартным в промышленности датчиков изображения порядка 40 лет, использует преимущества определенных характеристик человеческого зрения, включая повышенную спектральную чувствительность к зеленому. Человеческий глаз имеет чувствительность, наиболее высокую для зеленого света, и более низкую чувствительность для длинных (красных) и коротких (синих) диапазонов. Острота зрения человека выше для интенсивности света (яркость), чем для цвета (цветность). Важность средних длин волн выражена в матрице Байера увеличенным числом зеленых пиксельных положений и их присутствием в каждой строке и каждом столбце. Простота и эффективность в согласовании с характеристиками человеческого зрения паттерна Байера долгие годы обеспечивала его успех.

Недостаток паттерна Байера состоит в том, что датчики с RGB цветовыми фильтрами используют только половину доступного видимого спектра в сравнении с чистыми (C) пикселями, которые являются панхроматическими и собирают сигнал во всем видимом спектре. Различные возможности использования C‑пикселей в CFA-паттернах для повышения SNR продемонстрированы в таблице.

Таблица. Сравнение паттернов цветофильтров Байера и новых предложений различных производителей, включая Clarity+

 

Паттерны

Байера RG/GB

25% C-пикселей

50% C-пикселей: RG/BC

Паттерн А

50% C-пикселей: RG/BC

Паттерн В

50% C-пикселей: RG/CB

Clarity+

Размер ячеек

2×2

2×2

4×4

4×4

2×2

Улучшение SNR, дБ

0*

1

3–4

3–4

3–4

Резкость

Референсный
показатель

Ниже

Несколько ниже

Несколько ниже

Эквивалентная

Пространственные
цветовые артефакты

Референсный
показатель

Несколько хуже

Существенно хуже

Существенно хуже

Эквивалентны

Широко распространены версии с размером единичных ячеек 2×2 или 4×4, которые используют 25% (RG/BC 2×2) и 50% C‑пикселей (2×2 или 4×4).

Обосновывая свое технологическое решение, Aptina опирается на данные о том, что паттерн RG/BC с 25% C‑пикселей не позволяет получить преимущество большего SNR, поскольку использует сравнительно мало C‑пикселей. Кроме того, он имеет недостаток, заключающийся в отсутствии одного цветового канала, вследствие чего теряется детализация изображений.

Для двукратного улучшения сигнала и результирующего улучшения SNR в условиях низкой освещенности необходимы паттерны RG/BC с 50% чистых пикселей. Наиболее часто разработчики структур паттернов вводят C‑пиксели, заменяя ими половину цветных пикселей. Такие структуры обладают основным недостатком: снижение цветового разрешения по сравнению с байеровскими.

Паттерн Aptina Clarity+ CFA (RC/CB) уникален в том плане, что в нем вводится одинаковое количество B и R пикселей — как у байеровского паттерна, но при этом G можно определить через вычитание R и B из C. Так как число C‑пикселей то же самое, что для других схем с 50% C‑пикселей, можно извлечь то же улучшение SNR. Поскольку конфигурация паттерна Clarity+ аналогична паттерну Байера, однозначно поддерживается привычная точность значения яркости и низкий уровень хроматических артефактов. В то же время, поскольку G определяется путем вычитания, существует тенденция усиления шума при переходе к стандартному представлению RGB (sRGB). Но это решается посредством алгоритмов обработки изображения, являющихся частью технологии Clarity+.

Инновационные алгоритмы обработки изображения представлены на рис. 4в и сопровождают уникальные RC/CB цветовые паттерны для повышения производительности.

Показывая преимущество своей технологии Clarity+ для улучшения SNR, Aptina предлагает применять свою технологию обработки изображения в датчиках с фильтром на основе паттерна Байера, что дает преимущество в снижении шумов приблизительно в 1 дБ. Но для Clarity+ канал чистых пикселей с высокой четкостью создает дополнительное улучшение в 3 дБ для SNR за пределами того, что было достигнуто для байеровского паттерна.

Потенциальный вопрос, возникающий в отношении паттерна Clarity+, которому не хватает зеленых пикселей: является ли воспроизведение цвета удовлетворительным? Aptina утверждает, что соотношение чувствительности красных, чистых и синих пикселей решения Clarity+ соответствует комбинации трех значений чувствительности зрительной системы человека, и точность воспроизведения цвета Clarity+ сопоставима с байеровскими датчиками. Сигнал, эквивалентный байеровскому зеленому каналу, в системе Clarity+ генерируется из соответствующей комбинации срабатывания чистых, красных и синих пикселей, что подтверждает рис. 4в.

Aptina доказывает преимущества Clarity+: хотя эта технология дает то же самое улучшение SNR порядка 3 дБ при низком освещении, что и другие 50%-ные структуры RG/BC, Clarity+ превосходит остальные 50%-ные RG/BC-структуры в том, что в ней отсутствуют дефекты ступенчатости при наложении цветов и связанные с ними цветовые артефакты, поскольку структура R- и B-пикселей и цветовое разрешение аналогичны байеровским. Как и в случае с другими паттернами с добавлением C‑пикселей, существует незначительный компромисс в визуальном шуме (несколько десятых дБ) в сравнении с байеровским паттерном при ярком освещении, но это незаметно, так как SNR является высоким (обычно 35 дБ или больше).

При ярком освещении увеличение чувствительности Clarity+ даст в результате половину от байеровского времени экспонирования, что также полезно для захвата подвижных объектов с меньшим смазом и числом артефактов движения. 50%-ные RG/BC-структуры (в том числе Clarity+) также более чувствительны к различным источникам света, но это можно контролировать на уровне пикселей посредством соответствующих линз (объективов) и корпусирования. Поскольку паттерн Clarity+ схож с байеровским, он может работать со многими существующими байеровскими алгоритмами обработки изображений, такими как коррекция дефектов, затенение линз, биннинг, чересстрочный HDR-захват и визуализация.

О своем новейшем дополнении к портфолио датчиков изображения и технологий визуализации — технологии Clarity+ — компания Aptina объявила недавно, в конце февраля 2013 года, и сопроводила анонс Clarity+ выпуском оценочных образцов нового 12‑мегапиксельного датчика AR1231CP, характеризующегося размером пикселей в 1,1 мкм. Это был первый датчик, поддерживающий технологию Clarity+. В июле 2013 года Aptina анонсировала выпуск нового 13‑мегапиксельного датчика AR1331CP на основе технологии Clarity+ для смартфонов — в ответ на рыночные тенденции бескомпромиссного увеличения разрешения с 8 до 13 Мпикселей.

В июле 2013 года Aptina на примере нового датчика AR1331CP продемонстрировала следующие результаты проделанной работы. Специалисты компании обещают, что использование технологии Clarity+ позволит оборудовать мобильные телефоны датчиками изображения с пиксельным размером в 0,9 мкм и общим числом пикселей, повышенным до 20 Mпикселей.

Технология Clarity+ совместима с технологией 4‑го поколения Aptina MobileHDR, повышающей динамический диапазон захвата изображений и видео на 24 дБ.

Технология Aptina MobileHDR представляет собой захват изображений и видео с высоким динамическим диапазоном в сложных условиях освещения, таких как затененная комната или яркое окно, на фоне которого производится портретная съемка, или позволяет снимать четкие изображения и видео подвижных объектов с частотой 60 кадров/с.

Рассмотрим подобные возможности мобильных камер на примере разработок компании Toshiba. Особого внимания заслуживают технологии по увеличению динамического диапазона (High Dynamic Range, HDR) и снижению цветового шума (Color Noise Reduction, CNR) (рис. 5).

Ключевые технологии CMOS‐датчиков компании Toshiba

Рис. 5. Ключевые технологии CMOS‐датчиков компании Toshiba: а–г) технология HDR (High Dynamic Range);
а, б) сравнение изображений при включенной функции HDR и без нее;
в, г) сравнение однокадрового и многокадрового методов HDR:
в — однокадровый метод с одновременным захватом линий изображения с различным временем экспонирования;
г — многокадровый метод с захватом последовательных кадров с различным временем экспонирования; д–з) технология CNR (Color Noise Reduction);
д, е) сравнение изображений от датчиков с CNR и без этой функции;
ж, з) сравнение гистограмм сигнальных уровней RGB‐изображений от датчиков со схемами CNR и без этой функции

Технологии мобильных датчиков от Toshiba: HDR и CNR

High Dynamic Range (HDR) — захват изображений и видео с высоким динамическим диапазоном

Функция высокого динамического диапазона (HDR) допускает захват изображений, которые имеют широкий диапазон контраста между светлой и темной областями.

Хорошо известны примеры — объект с подсвечиваемым фоном (человек на фоне окна), сцены за пределами помещения с тенями и сильным солнечным освещением, ночные сцены с искусственным освещением. Ранее технология HDR относилась к прерогативам High-End, автомобильных или камер видеонаблюдения, а теперь она востребована и в мобильных устройствах, где изображения с ее помощью выглядят более реалистично.

Динамический диапазон датчика — это отношение интенсивности излучения (яркости) ярчайших пикселей к интенсивности свечения наиболее темных пикселей, которые захватывает камера в одном кадре, выражаемое в дБ:

DD = 20lg (max/min).

Человеческий глаз в дневное время способен распознавать не более 120–130 дБ, но стандартные CMOS- и CCD-датчики изображений дают только ~72 дБ. При этом АЦП дополнительно ограничивают верхний предел полезного динамического диапазона камер.

Функция HDR датчиков изображения Toshiba может корректировать высококонтрастные сцены как для DSC, так и для DVC-камер, обеспечивая плавное и четкое видео в результате HDR-композиции за счет снижения смаза и неточной цветопередачи. Сравнение изображений при включенной функции HDR и без таковой представлено на рис. 5а, б.

Существуют два принципиально различных метода HDR — одно- и многокадровый (рис. 5в, г). Toshiba HDR представляет собой однокадровый метод, отличающийся одновременным захватом линий изображения с различным временем экспонирования и объединением их в одно HDR-изображение (рис. 5в). При мультикадровом методе захватываются кадры с различным временем экспонирования, а затем они также объединяются в одно целое HDR-изображение (рис. 5г). Метод HDR, для которого необходим захват только одного кадра, допускает более высокоскоростной захват видео. Датчики изображения Toshiba при полном (full-HD) разрешении поддерживают частоту до 60 кадров/c.

Кроме того, длительное экспонирование может смазывать подвижные объекты. Поэтому однокадровый метод HDR вызывает меньше смаза и обеспечивает плавное видео, а также обеспечивает более точную цветопередачу — без типичных для многокадрового метода искажений цветов вследствие некоторого различия изображений последовательных кадров в определенной области.

Для улучшения вертикального разрешения при однокадровом методе HDR датчики изображения Toshiba, разработанные для смартфонов и планшетов, обеспечивают
удвоенное число пикселей по сравнению с фактически необходимым количеством в вертикальном направлении.

Для выполнения других типов обработки сигнала и отображения на устройствах вывода пиксельные данные HDR должны быть сжаты до нескольких бит. Для этого применяется тональное отображение — процесс преобразования тональных значений изображения из более широкого диапазона в более узкий.

Применяются два метода компрессии:

  • global tone mapping — применение тональной кривой того же самого тона ко всему изображению;
  • local tone mapping — локальное тональное отображение или применение кривой тона.
  • Функция Toshiba HDR осуществляется на основе метода локального тонального отображения, что помогает снижать ложную цветопередачу, деградацию контраста и поддерживать естественные тона.

Технология снижения цветового шума CNR (Color Noise Reduction)

По мере того как смартфоны и планшеты становятся тоньше и легче, а при этом более функциональными и сложными, поставщики полупроводниковых компонентов стремятся снижать размер и повышать разрешение CMOS-датчиков изображения. Но снижение размера пикселей (пиксельного шага) CMOS-датчиков изображения вызывает и уменьшение суммы воздействующего света, что, в свою очередь, снижает чувствительность и повышает число артефактов.

Технология снижения цветового шума (Color noise reduction, CNR) представляет собой метод снижения цветового шума вследствие уменьшенного пиксельного размера, неблагоприятно влияющего на видимость изображения. Схема Toshiba CNR включает цифровой фильтр, который сравнивает изображения в последовательных кадрах и выявляет артефакты из-за цветового цифрового шума. Это повышает качество изображений без компромисса с резкостью изображения. Датчики изображения Toshiba CMOS со схемой CNR обеспечивают меньший размер пикселей, более высокое разрешение изображения и более высокую видимость в условиях низкой освещенности, чем камеры без схемы CNR.

Сравнение изображений от датчиков с CNR и без этой схемы, а также сравнение гистограмм сигнальных уровней RGB-изображений от датчиков со схемой CNR и без нее показано на рис. 5д–з.

Как видно на рис. 5е, ж, зашумленное изображение с низким соотношением сигнал/шум (signal-to-noise ratio, SNR) имеет более широкое распределение гистограмм. При повышении значения SNR CNR-изобра-жение имеет узкое распределение на гистограмме.

Малый пиксельный шаг CMOS-датчиков Toshiba для камер смартфонов и планшетов и повышенное разрешение изображений достигаются именно благодаря схеме CNR.

Согласно тестовым измерениям Toshiba, CMOS-датчики изображений, обладающие CNR-способностью, с пиксельным шагом 1,12 мкм воспроизводят примерно две трети цветовых шумов датчиков изображения без CNR, но обеспечивают такой же SNR, что и их предшественники с размером пикселей в 1,4 мкм, но без схемы CNR.

2013 год ознаменовался значительным обновлением линеек CMOS-датчиков изображения Toshiba для смартфонов, камер видеонаблюдения и автомобильных камер. Обновления для мобильных устройств, включая камеры сотовых телефонов, смартфоны, планшеты, в обратном хронологическом порядке включают следующие датчики:

  • 13‑мегапиксельный CMOS BSI датчик изображения T4K37, характеризующийся размером пикселей 1,12 мкм, функцией HDR и схемой снижения цветового шума CNR. Датчик был представлен в июле 2013 года. Массовое производство должно было начаться также в июле 2013 года.
  • 8‑мегапиксельный CMOS-датчик изображения T4K05 для мобильных устройств с размером пикселей 1,12 мкм, функцией HDR и драйвером voice coil motor (VCM) для автофокусировки был представлен в апреле 2013 года.
  • Full-HD (2 Мпикселя) CMOS BSI CNR датчик изображения T4K71 для мобильных устройств был представлен месяцем раньше — в марте 2013 года. Его массовое производство запланировано на сентябрь 2013 года. Датчик T4K71 обеспечивает частоту кадров в 60 кадров/с при полном разрешении, что существенно для плавной и непрерывной записи видео с высокой четкостью.

В январе текущего года были анонсированы сразу два продукта для сотовых телефонов, смартфонов и планшетов. Одним из них является 2‑мегапиксельный CMOS-датчик изображения с пиксельным размером 1,75 мкм. В него интегрирован процессор обработки изображений (image signal processor, ISP), который обеспечивает параллельный и последовательный выход CSI‑2. Датчик может поставляться в виде кристаллов, на пластинах или в CSP-корпусе.

Другой продукт — это 8‑мегапиксельный CMOS-датчик изображения T4K35 с BSI, CNR и размером пикселей в 1,12 мкм.

Таковы, в общих чертах, технологии и обновления линеек мобильных CMOS-датчиков от Toshiba — одного из лидирующих в технологическом плане поставщиков датчиков изображения для камер мобильных устройств, видеонаблюдения и автомобильных камер.

Следующие ключевые технологии мобильных камер включают автофокусировку, затвор и зум, которые мы рассмотрим на примере компании Tessera.

 

МЭМС-автофокусировка и другие технологии Tessera

Американская компания Tessera Techno-logies, Inc. разрабатывает, инвестирует, лицензирует и поставляет инновационные технологии и продукты для повышения качества визуализации следующего поколения электронных устройств, объединенные в платформе OptiML.

DigitalOptics Corporation (DOC) — дочернее предприятие Tessera, которое поставляет технологии и решения для визуализации и оптику в виде продуктов, представляющих собой миниатюрные модули камер для смартфонов. Решения DigitalOptics объединены в той же платформе OptiML.

Технологии, разработанные Tessera и DOC для повышения качества захватываемых изображений, включают MEMS-автофокусировку, Extended Depth of Field (EDoF), зуммирование, обработку изображений — все они могут применяться в потребительских продуктах. В 2010 году Tessera приобрела компанию Siimpel — разработчика МЭМС-решений для автофокусировки и затвора, которые органично дополнили разработанные Tessera технологии EDoF и оптического зума, а также стабилизации изображений. Кроме того, DOC — лидер в области встроенной обработки сигнала и технологий вычислительной обработки сигнала, включая Video Face Beautification (технология облагораживания лиц), FaceTools (средства работы с портретами), HDR, панорамирование, мультифокусировку и стабилизацию изображений. Компания DOC предлагает микрооптические линзы дифракционных и рефрактивных (преломляющих) оптических элементов, а также интегрированные микрооптические подсборки.

Лидирующим предложением от Tessera и DOC для мобильного рынка CMOS-камер стала технология MEMS-автофокусировки и решения в виде модулей камер на основе этих технологий, благодаря которым они незамедлительно стали стандартом де-факто для модулей камер в плане скорости, потребления мощности и точности.

Согласно данным от Tessera DOC, более 2 млрд камер производятся ежегодно для сотовых телефонов и планшетов, и примерно 40% используют автофокусировку (AF).

В AF-камере применяется актюатор для перемещения одной или более линз вдоль оптической оси камеры, а специальный алгоритм производит вычисление резкости для каждого положения линзы и выбирает наилучшее положение, соответствующее конечному положению линзы при автофокусировке.

Автофокусировка предназначена для коррекции вариаций расстояния до объекта и соответствующей регулировки положения линзы, а также для коррекции изображения в зависимости от температуры. При изменении расстояния или температуры изображение может получаться размытым, терять резкость. Автофокусировка регулирует положение линз и восстанавливает резкость. Встроенная автофокусировка уменьшает потребность во внешнем контроле линз, и благодаря этой системе можно разрабатывать меньшие по размерам и более тонкие модули камер.

Автофокусировка в мобильной съемке до недавнего времени была основана целиком и полностью на использовании для перемещения модуля линзы вдоль оптической оси камеры так называемых VCM (voice coil motors) актюаторов.

Технология VCM впервые была запатентована в 1874 (!) году, хотя она все еще остается технологией из разряда High-End сегментов, полный список которых включает автофокусировку, оптическое зуммирование и стабилизацию изображений.

 Примеры High‐End модулей камер смартфонов с автофокусировкой и оптической стабилизацией изображений

Рис. 6. Примеры High‐End модулей камер смартфонов с автофокусировкой и оптической стабилизацией изображений (источник — System Plus Consulting):
а) камера‐модуль Apple iPhone 4S с BSI CIS датчиком Sony IMX145 8 Мпикс и пиксельным шагом 1,4 мкм;
б) камера‐модуль Nokia Lumia 920 BSI CIS Sony и OIS от ST

Согласно публикациям System Plus Con-sulting, примеры телефонов, интегрирующих модули камер с VCM-автофокусировкой, включают:

  • Samsung Galaxy S II с 8‑мегапиксельным BSI CIS Samsung S5K3H2 с размером пикселей 1,4 мкм.
  • Apple iPhone 4 с BSI CIS модулем камеры OmniVision OV5650 разрешением в 5 Mпикселей и пиксельным размером 1,75 мкм. Кристалл CIS производится на основе архитектуры CMOS с процессом 110 нм и архитектуры BSI.
  • Apple iPhone 4S (рис. 6а), который интегрирует 8‑мегапиксельный BSI CIS IMX145 Sony с размером пикселей 1,4 мкм. Кристалл CIS собирается по 90‑нм процессу.
  • Nokia Lumia 920 с BSI CIS Sony и OIS от ST (рис. 6б).

Но у этой технологии были и существенные ограничения: модули камер с VCM имели размеры, ограничивающие тонкий дизайн смартфонов. Например, Nokia Lumia 920 известен тем, что снимает качественные изображения благодаря большой и качественной камере с автофокусировкой и стабилизацией изображений, но именно поэтому телефон является сравнительно толстым (10,7 мм), не говоря уже о телефонах различных производителей предшествующего поколения.

Кроме того, для VCM необходима значительная мощность, что приводит к быстрой разрядке батареи при съемке, и камеры демонстрировали некоторое запаздывание, особенно заметное при съемке видео.

Многие недостатки VCM-технологии вытекают из ее рабочего принципа, который включает передачу тока через электромагнит (обмотку) (рис. 7а). Это создает магнитное поле, отталкивающее постоянные магниты и вызывающее перемещение держателя линзы в сторону от датчика изображения, а восстанавливающая сила обеспечивается пружинами.

Технологии МЭМС‐автофокусировки компании Tessera

Рис. 7. Технологии МЭМС‐автофокусировки компании Tessera — маломощная, высокоскоростная и высокоточная альтернатива VCM:
а) VCM‐автофокусировка — старейшая и наиболее распространенная технология для перемещения модуля линзы камер;
б) МЭМС‐автофокусировка Tessera под микроскопом: кремниевая ступень (слева) с автофокусирующей линзой в центре; пружины (центральный снимок); электростатический привод (справа);
в–д) модуль mems|cam — первый автофокусирующий МЭМС‐модуль:
в) внешний вид;
г) составные части;
д) сравнение конструкций модулей VCM HTC One X и mems|cam

Tessera DOC, аргументируя актуальность своих автофокусирующих МЭМС-модулей, суммирует следующие отрицательные эффекты вследствие применения VCM в малых автофокусирующих камерах:

  • VCM имеет гистерезис хода порядка 8% и дает неточное позиционирование линзы, что усложняет и замедляет автофокусирующие процессы.
  • VCM потребляет значительную мощность порядка 100 мВт, что повышает расход тока от батареи, при этом выделяется тепло, ухудшающее оптические характеристики.
  • Типичные значения наклона и децентрализации линз составляют 0,25° и ±50 мкм соответственно. Зазор между держателем модуля линзы (объектива) и хомутом разрешает это неконтролируемое перемещение, и оба — наклон и децентрализация — различаются с ориентацией камеры и фокусного изображения. Эти эффекты снижают качество изображений. Проблема усугубляется при повышении разрешения датчика, снижении размеров пикселей и f‑числа.
  • Существует потребность в более тонких хэндсетах с лучшим качеством изображения. Для производства компактных VCM необходимы меньшие по размерам обмотки, магниты и пружины. Но так как магнитодвижущая сила пропорциональна объему, то для меньших обмоток и магнитов нужен больший по величине ток, или возникает проблема потребления мощности и отвода тепла. А меньшие пружины слабее и усиливают отрицательные эффекты гистерезиса, наклона и децентрализации линз, а также неточного позиционирования линзы.
  • VCM-технологии более 100 лет. Это означает, что возможности для снижения цены ограничены, и создает предпосылки для развития конкурирующих технологий, обеспечивающих лучшие характеристики по более низким ценам.

Параллельно с развитием технологии VCM в самых простых мобильных телефонах более широко стали использоваться камеры с EDoF, что буквально переводится как «камеры с расширенной глубиной области». (В русских словарях для этого используются термины глубины изображаемого пространства, глубины резкости, или глубины резко изображаемого пространства (ГРИП).) Все эти термины описывают расстояние между ближней и дальней точками пространства, измеренное вдоль оптической оси. При нахождении в его пределах объекты находятся в фокусе и на снимке изображаются резкими. По сути, EDoF описывают камеры с фиксированным фокусом и неподвижными линзами, для которых значение ГРИП (DoF) увеличено.

Пространство области резкости начинается на некотором расстоянии от объектива (теоретически от 10 см), но в недорогих камерах практически оно больше (40–50 см) и простирается до бесконечности. Этого часто бывает достаточно для любительской съемки, когда макросъемка не нужна, и позволяет оснащать дешевые мобильные телефоны функциональностью камер. При этом отсутствие дорогих и потребляющих значительную мощность автофокусирующих VCM-модулей дает возможность далее снижать критичные параметры — размер и цену, а также повышать срок службы батареи. Более того, за счет отсутствия в EDoF-модулях камер механических движущихся частей такие камеры могут быть не только более компактными, но и более надежными, а также более дешевыми в производстве.

Получение резкой фотографии в камерах EDoF достигается только за счет специальных алгоритмов обработки изображений. EDOF-камеры проще в эксплуатации, чем камеры с переменным фокусом, и не требуют двухпозиционных кнопок затвора; задержка срабатывания затвора и задержка на фокусировку в них отсутствует. Причем EDoF-камеры не столь чувствительны к движению объекта, как автофокусирующие, и позволяют снимать даже более качественное видео. В частности, при съемке видео с фиксированным фокусом (которая выполняется так даже в автофокусирующих камерах после наведения фокуса) не будет таких недостатков, как запаздывание и шум VCM.

Но у EDoF имеются недостатки, ключевым из которых является вышеупомянутая невозможность макросъемки. Поскольку производители ведут гонку за компактными размерами и снижением цены модулей камеры, с технологией EDoF это уменьшает светосилу объектива и не позволяет использовать преимущества перемещения линз для увеличения качества снимков в сложных условиях освещения.

Поэтому выход состоит в совершенствовании технологий автофокусировки, и, так как возможности VCM-технологии в этом плане уже практически исчерпаны, ей на смену приходят передовые технологии MEMS-автофокусировки (рис. 7б–д).

Автофокусирующий модуль mems|cam для камер смартфонов

В начале 2013 года Tessera анонсировала модуль mems|cam, основанный на передовых технологиях MEMS-автофокусировки и оптического дизайна, которые дают выигрыш в плане скорости, потребления мощности и точности при применении в смартфонах.

Автофокусирующий актюатор mems|cam создан на базе разработанной ранее платформы DigitalOptics OptiML с использованием для автофокусировки технологии MEMS, которая допускает прецизионное и повторяемое позиционирование и перемещение линзы в пределах оптики камеры. Принцип автофокусирующей технологии OptiML для перемещения линзы — электростатический.

Микромеханический интерфейс AF-актюатора выполняет выравнивание подвижной линзы, а электрический интерфейс представляет собой просто два контактных вывода. Электростатический привод перемещает линзы быстрее, с большей точностью и со значительно меньшим потреблением мощности, чем с использованием технологии VCM в традиционных автофокусирующих модулях камер.

Эта технология МЭМС DOC хорошо подходит для использования в смартфонах, цифровых камерах и других электронных устройствах.

Модули DOC mems|cam обеспечивают лидирующую в промышленности скорость автофокусировки. Датчики характеризуются быстрым временем настройки автофокусирующего актюатора (обычно <10 мс), они эффективно выполняют ее в комбинации с точной осведомленностью о местоположении. Быстрая скорость автофокусировки вследствие применения технологии MEMS допускает быстрое получение изображений в смартфонах, включая высокую частоту кадров и непрерывную автофокусировку видео, а также элементы вычислительной фотографии, такие как мультисъемка, мультифокусировка и видео с высоким динамическим диапазоном (HDR). Автофокусирующие DOC MЭМС-актюаторы работают с мощностью потребления менее 1 мВт (это порядка 1% от показателей VCM), что позволяет повышать срок службы батареи и снижать тепловую нагрузку на датчик изображения, линзу и регулируемые критически важные компоненты. Кремниевые актюаторы DOC производятся на основе полупроводниковых процессов, это обеспечивает повторяемость, гистерезис, которым можно пренебречь, и надежность — миллионы циклов, что гарантирует высокое качество изображений и видеозахвата в течение срока службы.

Автофокусирующий МЭМС-актюатор представляет собой один из наиболее передовых признаков модуля mems|cam. Дополнительные преимущества обеспечиваются инновационным оптическим дизайном, лидирующими в промышленности встроенными алгоритмами обработки сигнала и технологиями корпусирования. При объединении МЭМС-автофокусировки с оптическим дизайном и флип-чип корпусированием компания DOC достигла наименее возможного фут-принта без компромисса с качеством изображения. Тонкий дизайн линз и флип-чип корпусирование сделали возможной низкую высоту в 5,1 мм (по оси Z) для 8‑Mпиксельного модуля 1/3,2.

MEMS-технология замещает многие механические системы смартфонов, включая акселерометры, микрофоны, а теперь и автофокусировку.

Механические актюаторы, основанные на кремниевых технологиях МЭМС, хорошо подходят для автофокусировки в миниатюрных модулях камер. Электростатический привод перемещает линзы быстрее, с большей точностью и со значительно меньшим потреблением мощности, чем технология VCM в традиционных автофокусирующих модулях камер.

Согласно информации от DigitalOptics, в отличие от современных VCM-технологий mems|cam дает следующие преимущества:

  • Фокусировка изображений — до семи раз быстрее, чем у камер, представленных на рынке.
  • Вес модулей mems|cam — в 10 раз меньше; в три раза короче рабочее расстояние.
  • В 100 раз меньше потребление мощности (1 мВт против 100 мВт, типичных для VCM), что может повышать срок службы батареи и делает МЭМС-актюатор микроскопическим.
  • МЭМС-структура производит на 80% меньший наклон, снижающий качество изображения по краям и углам.
  • На 33% меньше фут-принт в телефоне, высота составляет всего 5,1 мм.
  • МЭМС-структура производит на 20% меньше тепла, ухудшающего качество автофокусировки. Согласно данным DOC, каждые +10 °C ухудшают качество на 5–10%.

Первые коммерческие продукты DOC — DOC8324F и DOC8324‑AIO — включают датчики OV8835, а в состав DOC8324C входит датчик изображения IMX179.

Сейчас компания Tessera сконцентрировалась на поставке решений для автофокусирующих модулей камер, воплощенных в модулях mems|cam, а другие предложения пока что утратили коммерческую актуальность. Но как о технологическом решении для повышения качества визуализации о них необходимо сказать еще несколько слов.

MEMS-решения DOC включают не только автофокусировку, но и затвор в виде маломощного интегрированного решения с малым формфактором для непрерывной фокусировки видео, а также оптический зум.

Затвор предназначен для коррекции изображения и/или смаза при съемке подвижных объектов, а также повышения качества изображения в условиях низкого освещения. Даже при правильной фокусировке изображение подвижного объекта может получиться смазанным, что корректируется посредством одновременного экспонирования всех частей изображения.

Например, модуль OptiML AF+Shutter (автофокусировка плюс затвор) достигает своей функциональности посредством перемещения MEMS-ступенью одиночного элемента линзы вдоль оптической оси. Точность позиционирования и повторяемость экспонирования достигаются на стадии дизайна MEMS.

Появление технологий камер меньшего размера накладывает различные ограничения на оптический дизайн модулей камер, в том числе применительно к зуммированию. Оптический или механический зум сложно доводить до требуемого размера и цены, приемлемых для камер смартфонов. Поэтому большинство камер телефонов оборудуется цифровым зумом, который не способен дать высококачественное непрерывное увеличение изображения. Технология DigitalOptics OptiML Zoom не имеет ограничений традиционных решений для зуммирования, что достигается при объединении дизайна линзы со специальными алгоритмами обработки изображения, и позволяет в итоге достичь 3‑кратного зуммирования без подвижных частей.

В систему Tessera входит группа специальных линз с фиксированным положением, создающих такое изображение, которое содержит в центре больше данных и может обрабатываться алгоритмами Tessera для извлечения зуммированных фотографий на основе этих данных. Это переводится в меньшее и более эффективное в стоимостном выражении решение, более легкое в производстве и более надежное. Это означает также, что OptiML-камера позволяет использовать более компактные датчики, чем традиционные решения с оптическим зумом.

Компания Tessera сообщила, что такая система способна достигать эффекта зуммирования без какого-либо негативного влияния на глубину резкости и может настраиваться для улучшения чувствительности света на 250% в сравнении с обычными системами линз.

В 2010–2011 гг. была опубликована информация о лицензировании этой технологии компанией Samsung. А конкретнее — Samsung Electronics интегрировала решения Tessera OptiML Focus: для обеспечения EDoF способностью своего 2‑мегапиксельного full HD (1080p) CMOS-датчика и OptiML UFL для улучшения съемки в условиях низкой освещенности. Решение OptiML Focus допускает резкое изображение объектов на расстоянии от 20 см до бесконечности, а решение OptiML UFL повышает светочувствительность на 250% без компромисса с EDoF.

Кроме того, DOC Tessera объявила о многолетнем соглашении с Samsung на лицензирование технологий DOC Face Detection и Face Tracking для флагманского смартфона Samsung Galaxy S4.

Технологии распознавания лиц и работы с лицами также неотделимы от эволюции мобильных камер, и к ним мы еще вернемся, а пока что продолжим рассмотрение других High-End решений, одним из которых является стабилизация изображений.

В текущем 2013 году был представлен новый смартфон, или более точно — камерофон Galaxy S4 Zoom (рис. 8а) на основе 16‑мегапиксельного CMOS-датчика с задней подсветкой (BSI). Это сочетание фотокамеры и смартфона с кольцом зума и другими инновационными решениями, которые задают новый стандарт гибкости и удобства управления. Камера смартфона обладает способностью снимать с правильной экспозицией при меньшем количестве света и быстрее фокусироваться, чем обычные матрицы. С помощью кольца зума можно передавать снимок во время вызова, регулировать оптический зум и запускать приложение камеры. Компактный и производительный смартфон Samsung Galaxy S4 Zoom оснащен 10‑кратным оптическим зумом для съемки четких изображений с точной цветопередачей. Благодаря профессиональному объективу и точной регулировке с помощью кольца зума смартфон Samsung Galaxy S4 Zoom позволяет делать эффектные крупные планы без тяжелого фотооборудования.

В смартфон Samsung Galaxy S4 Zoom встроена система оптической стабилизации изображения, которая позволяет получать четкие и качественные фото и видео даже в условиях низкой освещенности, при зуммировании или на ходу.

 

Технология стабилизации изображений

Технология стабилизации изображений стала весьма популярной в последние годы: ее применяют как в зеркальных камерах, так и в камерах смартфонов.

Хотя довольно много цифровых DSC-камер уже используют оптическую стабилизацию, в сегменте смартфонов стабилизация изображений посредством гироскопов — это все еще технология High-End сегментов мобильных камер.

Новое поколение камерафонов

Рис. 8. Новое поколение камерафонов:
а) камерофон Galaxy S4 Zoom — телефон с 10‐кратным оптическим зумом;
б) Nokia Lumia 920 — камерофон с оптической стабилизацией изображений;
в) камерофон Nokia Lumia 1020 — смартфон с матрицей камеры 41 Мпикс и OIS

Nokia Lumia 920 (рис. 8б) — первый телефон, включающий первый модуль смартфонной камеры с оптической стабилизацией изображений (Optical Image Stabilization, OIS). Этот модуль включен в телефон и основан на трехосевом двухъядерном MEMS-гироскопе ST L3G4IS и технологии плавающей линзы.

Технология плавающей линзы (floating lens) основана на движении 5‑элементного модуля линзы для выполнения синхронизации с движением камеры. Модуль камеры выполняет и стабилизацию изображений, и автофокусировку, и имеет размеры 12,5×12,5×6 мм.

Движение камеры измеряется двухъядерным трехосевым гироскопом от STMicroelectronics, включенным в модуль камеры. Вместо использования двух датчиков специалисты Nokia выбрали один гироскоп, интегрирующий функции обнаружения жестов и стабилизации изображения камеры. Это позволяет сохранить пространство, занимаемое компонентами на плате, и снизить цену. Модуль камеры Nokia Lumia 920 также обеспечивает истинное аспектовое соотношение 16:9/4:3 посредством использования CMOS-датчика изображения (CIS) Sony, который выпускается на основе технологии BSI. CIS характеризуется разрешением 8,7 Мегапикселей и пиксельным шагом 1,4 мкм.

Дополнительную информацию о применении модуля камеры в телефоне Lumia 920 можно получить из отчета System Plus Consulting.

Оптическая стабилизация изображений в мобильных телефонах только начинает развиваться, и в ближайшем будущем можно ожидать следующих предложений смартфонов/камерофонов с этой функцией, давно применяющейся в цифровых камерах.

В камерофон Samsung Galaxy S4 Zoom встроена система оптической стабилизации изображения, которая обеспечивает высокую точность фокуса вне зависимости от условий съемки. Таким образом, можно получить четкие и качественные фотоснимки и видеоизображения даже в условиях низкой освещенности, при зуммировании или на ходу.

Каждый производитель стремится максимально дифференцировать свои камерофоны, поколение которых стартовало по мере развития технологий мобильной съемки. Например, новый камерофон Nokia Lumia 1020 (рис. 8в) тоньше, а кроме того, использует более высокоразрешающий датчик — как единственный смартфон с матрицей камеры 41 Мпиксель и OIS. Но Samsung Galaxy S4, хотя и имеет только 16‑мегапиксельный 1/2‑дюймовый CMOS-датчик изображения, оборудован оптическим десятикратным зумом, и также включает OIS. И оба этих камерофона имеют ксеноновую вспышку. 

Литература

1.  www.innovationsinsightmag.com

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

?>