Обединяването на пиксели се отнася до процеса на комбиниране на прочетените стойности на съседни пиксели в изображение след заснемане на изображение. Обединяването работи, като събира електрическите заряди, събрани от съседни пиксели от същия цвят, и ги разчита като единичен симулиран пиксел. При условия на слаба-осветеност това подобрява чувствителността на камерата и яркостта на изображението. Недостатъкът обаче е също толкова очевиден: след като пикселите се слеят, разделителната способност на изображението е значително намалена и този компромис-е до голяма степен неизбежен.
Компромисът-„Загуба на детайли“.
Днешните основни технологии за комбиниране на пиксели включват сливане на пиксели 4-в-1, 9-в-1 и дори 16-в-1. Сред тях, групирането на пиксели 4 в 1 е най-широко възприетото решение.
По същество групирането на пиксели все още разчита до голяма степен на изчислителна обработка. Той комбинира четири или повече съседни пиксела в по-голям "виртуален пиксел" чрез алгоритмична реконструкция. Теоретично този по-голям пиксел се държи като пиксел с нормален-размер със стандартно разстояние, като подобрява светлочувствителността и намалява шума в изображението.
Използвайки сравнително простото решение 4 в 1 като пример, тази технология е известна още катоКуад Байер.
Quad Bayer технология
В рамките на един цикъл на експозиция технологията Quad Bayer контролира продължителността на експозицията на всяка фоточувствителна единица в същия регион, позволявайки две експонации в скоби в L+L+S+S конфигурация. На практика това означава, че функционалност, подобна на HDR-, вече може да бъде постигната на ниво CMOS сензор.
Масивът с цветен филтър Quad Bayer на Sony за първи път се появи в търговската мрежа вHuawei P20 Pro, издаден на 27 март 2018 г.
В сравнение с традиционния масив Bayer, структурата на масива Quad Bayer е доста различна. Когато четири пиксела се комбинират в един по-голям "виртуален пиксел", тези по-големи пиксели ефективно пресъздават модела на конвенционален масив на Bayer. След сливането на пикселите разделителната способност на изображението се намалява с приблизително 75%. Например 48MP сензор ефективно извежда 12MP изображение след групиране 4 в 1.
Друг начин за разбиране на Quad Bayer е, че той по същество подразделя всеки традиционен пиксел на Bayer на четири по-малки единици, което позволява по-прецизно улавяне и обработка на светлината.
Традиционен Байер срещу Четворен Байер
Един конвенционален масив на Bayer се състои от:
- 50% зелени пиксели
- 25% червени пиксели
- 25% сини пиксели
Когато Quad Bayer работи без групиране на пиксели при нормални условия на осветление, усъвършенстваните алгоритми за реконструкция все още могат да постигнат пълно-цветно вземане на проби, еквивалентно на традиционен масив на Bayer в рамките на същата сензорна област:
- 50% зелено
- 25% червено
- 25% синьо
Защо Pixel Binning стана популярен в смартфоните
Pixel binning е предимно технология за изображения на смартфони. Функции като директен изход на изображение, HDR обработка и изчислителна фотография са основните предимства, които смартфоните имат пред традиционните камери.
При подходящи условия на осветление режимите Quad Bayer наистина могат да подобрят ефективната разделителна способност до известна степен. Въпреки това, в сравнение с конвенционалните решетки на Bayer, подобрението в динамичния диапазон често е по-забележимо.
В действителност групирането на пиксели премества традиционните техники за последваща-обработка, като натрупване на експозиция, в самия етап на заснемане на изображението. В среда с ниска{2}}осветеност той жертва разделителната способност, за да компенсира недостатъчния прием на светлина.
Въпреки че не може едновременно да максимизира свръх-високата разделителна способност и ултра-високия динамичен обхват, групирането на пиксели представлява практически компромис, направен от производителите на сензори за смартфони в рамките на ограниченията на фиксирания физически размер на CMOS сензорите.
Pixel Binning срещу Pixel Shift
Преди да научат за групирането на пиксели, много хора може би са чували за друга технология за изображения, нареченаПреместване на пикселите.
Pixel Shift работи, като премества сензора за изображения с под-прецизност на пиксела между експозициите. Това позволява всяка позиция на пиксела да улови пълна RGB цветова информация, преодолявайки ограниченията, причинени от подреждането на цветния филтър на Bayer.
Обединяването на пикселите и изместването на пикселите са фундаментално различни понятия.
Pixel Shift подобрява цялостната детайлност на изображението и съотношението-към-шум чрез свръхсемплиране, като гарантира, че всеки пиксел съдържа пълна RGB информация.
Обединяването на пиксели, от друга страна, обединява множество пиксели заедно, за да подобри светлочувствителността и производителността при ниска-светлина, обикновено за сметка на разделителната способност на изображението.
Различни подходи в мобилните изображения
Някои производители са избрали различна посока, като поддържат разделителната способност на сензора между 10 MP и 20 MP, вместо агресивно да се стремят към свръх-висок брой мегапиксели.
Например и Google, и Apple разчитаха на 12MP CMOS сензори в продължение на много години. Apple поддържа 12MP сензор от iPhone 6s до серията iPhone 13, докато изчислителната фотография на Google и Pixel Shift-подобни технологии помогнаха за създаването на някои от най-силните системи за смартфони с една-камера в индустрията, като Google Pixel 3.
По ирония на съдбата, производителите, които не пускаха на пазара свръх-висок брой мегапиксели или изключително големи сензори, често бяха тези, които издигнаха фотографията със смартфони до нови висоти.
