Пикселы и разрешение

Все алгоритмы компрессии, о которых мы говорили ранее, базируются на одном мельчайшем элементе. Это пиксел, «кирпичик», из которых строится любое цифровое изображение. Этот термин необходимо проанализировать подробнее, так как именно пиксел определяет четкость изображения и детализацию, которую мы увидим.

Рис. 9.45. Пикселы RGB на люминофоре цветного монитора или телевизора с электронно‑лучевой трубкой

Пиксел (от англ. Pixel, Picture Element , иногда Pel , т. е. элемент изображения) – это мельчайшая часть электронного (цифрового) изображения. Пикселы – это атомы изображения. Крайне важно понимать, что такое пиксел для цифровой фотографии, но то же самое можно сказать и применительно к видеонаблюдению, особенно после появления цифровых видеорегистраторов. Многие из вас употребляют термин «пиксел» при печати брошюр и каталогов для своей компании, а также при обсуждении характеристик жидкокристаллических дисплеев, но при этом мы совсем необязательно говорим о тех же пикселах, которые применяются в цифровом видео.

Пикселы можно связать с разрешением изображения, но крайне важно понимать различия между пикселами разного рода, поскольку очень часто мы пытаемся распознать мельчай шие детали (например, лицо злоумышленника) на изображении, сжатом с высокой степенью компрессии.

В офсетной печати вместо пикселов говорят точки (dots), но сути дела это не меняет, поскольку эти элементы невозможно разделить на более мелкие и получить при этом дополнительную значащую информацию об изображении, частью которого они являются. Проще говоря, в пикселах содержится элементарная информация о мельчайших деталях изображения, то есть информация о цвете и яркости пиксела. Применительно к телевидению мы говорим в данном случае о цветности (chrominance ) и яркости (luminance) элемента изображения. Поскольку при отображении всего разнообразия цветов и теней мы ограничены набором первичных цветов, пикселы состоят из более мелких деталей, которые отражают определенное значение своих первичных цветов. Поэтому пикселы на самом деле не являются мельчайшими элементами изображения, однако только группа всех первичных элементов образует «полный» пиксел.

Рис. 9.46. Расположение пикселов RGB на стандартном телевизионном экране (смещение на половину пиксела по вертикали связано с чересстрочной разверткой)

А одинаковы ли пикселы, которые используются в цифровой фотографии, телевидении и печати? Это очень важный вопрос, которому мы уделим особое внимание. Нет, это пикселы разного рода. И в разнице между ними кроется множество ошибок и неточностей, которые возникают во многих сферах, связанных с обработкой изображения, одной из которых и является видеонаблюдение.

Как известно, в цветном телевидении используют цвета красного, зеленого и синего люминофора, чтобы имитировать все остальные цвета. С помощью трех первичных цветов (RGB) мы можем представить практически любой (почти любой) цвет, воспринимаемый человеческим глазом. При соответствующей интенсивности яркости красного, зеленого и синего люминофора мы также можем отобразить любую яркость пиксела (от белого до черного), в том числе и телесные цвета. На самом деле смешивание цветов происходит уже у нас в глазах, когда мы смотрим на пикселы с нормальной зрительной дистанции, которая настолько велика по сравнению с размером пикселов, что мы воспринимаем три первичные точки как одну точку результирующего цвета, полученную в результате аддитивного смешения цветов красного, зеленого и синего люминофора в пикселе.

Рис. 9.47. Пример иного расположения элементов RGB, из которых состоит пикселы

В аналоговом телевидении, которым большинство из нас до сих пор пользуется, и, конечно же, в видеонаблюдении пикселы в качестве элементарных деталей присутствуют на обоих концах сложной цепи, в результате которой мы получаем изображение: на входе, т. е. в телекамере, и на выходе, т. е. на мониторе. В телекамерах применяются ПЗС‑матрицы, у которых мельчайшие элементы – пикселы – состоят из красной, зеленой и синей компоненты. Эти цветовые компоненты пиксела реагируют на красную, зеленую и синюю часть спектра проецируемого изображения, генерируя электроны пропорционально количеству цвета этой цветовой компоненты пиксела проецируемого туда изображения. В трехматричных ПЗС‑телекамерах свет разделяется на три цветовые группы светоделительной призмой, а затем каждая световая группа проецируется на соответствующую ПЗС‑матрицу. Это означает, что для каждого первичного цвета имеется отдельная ПЗС‑матрица. Трехматричные ПЗС‑телекамеры дают качественный видеосигнал с прекрасной цветопередачей и высоким разрешением. К сожалению, трехматричные ПЗС‑телекамеры редко используются в видеонаблюдении, так как они очень дороги и, как правило, более громоздки, чем их одноматричные аналоги, которые в основном и используются. В цветных одноматричных ПЗС‑телекамерах каждый пиксел состоит из трех первичных цветовых элементов (RGB). Справедливости ради нужно отметить, что существуют ПЗС‑матрицы, где в качестве первичных цветов используются не красный, зеленый и синий, а голубой, желтый и пурпурный (как основные цвета в печати). Но такие телекамеры очень редко применяются в видеонаблюдении, и поэтому мы не будем рассматривать их как значительный сегмент видеонаблюдения. В противном случае нам было бы необходимо знать, что голубой, желтый и пурпурный преобразуются в самой телекамере при помощи таблиц в красный, зеленый и синий, так как композитный видеосигнал на выходе все равно должен быть представлен значениями RGB. Как видно на схематичной иллюстрации матрицы ПЗС (одноматричной телекамеры) фильтрация цветов RGB происходит в форме мозаики, поэтому этот фильтр называется мозаичным. Следует отметить, что зеленых светочувствительных элементов в два раза больше, чем синих или красных. Это связано с тем, что большая часть яркостной информации лежит в пределах зеленого спектра и человеческий глаз наиболее чувствителен к зеленому цвету. Именно эти зеленые ячейки сильно влияют на разрешение телекамеры.

Рис. 9.48. Мозаичный фильтр на ПЗС‑матрице

Логично было бы предположить, что разрешение в ТВ‑линиях цветной одноматричной ПЗС‑телекамеры рассчитывается путем деления количества горизонтальных (трехцветных) пикселов на 3/4 (соотношение сторон), на практике оно считается иначе. Учитывая чересстрочную развертку и мозаичное расположение, реальное разрешение цветной одноматричной ПЗС‑телекамеры будет порядка 70–80 % от приведенных ранее расчетов. Таким образом, ПЗС‑матрица размером 768x582 пиксела будет иметь разрешение приблизительно 768/4x3x0.8=460 ТВ‑линий. А цветные трехматричные ПЗС‑телекамеры имеют как минимум на 100 ТВ‑линий больше только потому, что используются все трехцветные пикселы и отсутствует мозаичный фильтр.

В качестве необходимого отступления от темы мы напомним нашим читателям, что до изобретения ПЗС‑телекамер (когда использовались телекамеры с передающими трубками) в связи с тем, что изображение считывается с мишени трубки в результате сканирования непрерывным электронным лучом, не существовало дискретных и конечных мельчайших элементов изображения (как в случае с ПЗС‑матрицами).

Дискретные элементы изображения появились только с изобретением цветного телевидения, когда стали изготовлять телевизоры с электронно‑лучевыми трубками, в которых использовалась цветоделительная решетка. Именно она разделяла световой поток на красные, зеленые и синие точки.

Когда речь идет о черно‑белых телекамерах, мы говорим о разрешении, а не о пикселах, что напрямую связано с мельчайшим электронным лучом, который может сгенерировать телекамера и отобразить монохромный экран. Если вы помните, черно‑белые мониторы имели довольно высокое разрешение только потому, что в них не использовались решетки, или сетки, и, соответственно, не было связанных с этим физических ограничений, которые появились позже с изобретением цветного телевидения. Все зависело только от того, насколько точно электронный луч воспроизводит детали, зафиксированные электронным лучом телекамеры. Возвращаясь снова к технологиям современного видеонаблюдения, подчеркнем, что необходимо четко понимать, что разрешение изображения в основном определяется источником, то есть разрешением ПЗС‑телекамеры, что зависит от количества пикселов на ПЗС‑матрице.

Нам не удастся отобразить на мониторе больше деталей (даже если сам монитор способен на это), чем зафиксировала ПЗС‑матрица телекамеры. И, хотя всегда возможно точно определить количество пикселов на ПЗС‑матрице, мы по‑прежнему пользуемся ТВ‑линиями при оценке качества деталей изображения, получаемого от телекамеры. Разрешение в ТВ‑линиях измеряется с помощью тестовых таблиц, и в реальности вам вряд ли удастся идеально точно расположить таблицу перед телекамерой, поэтому ТВ‑линии показывают несколько меньше деталей, чем получится в результате вышеприведенного попиксельного расчета. Когда видеосигнал отображается на экране монитора, самый маленький элемент изображения определяется либо пикселом ПЗС‑телекамеры, либо пикселом монитора. Если у нас монитор с низким разрешением, например, маленький ЭЛТ‑монитор с диагональю 23 см и с разрешением 330 ТВ‑линий, а наша телекамера способна различать до 480 ТВ‑линий, то мы увидим только то, на что способен монитор, то есть 330 ТВ‑линий. А если у нас телевизионный монитор, который способен показывать около 700 ТВ‑линий, то при той же самой телекамере мы увидим только 480 ТВ‑линий.

Чтобы получить полное представление об измерении разрешения, необходимо сказать еще несколько слов о разрешающей способности объектива, которая измеряется в линиях на миллиметр. Есть оптические испытательные таблицы, которые измеряют эту функцию как разрешающую способность объектива в сравнении с контрастом. Это функция передачи модуляции (ФПМ). Тут все немного усложняется, так как ФПМ учитывает только черные линии на белом фоне (в отличие от учета черных и белых линий при измерении разрешения в ТВ‑линиях, как мы это делаем в видеонаблюдении).

Рис. 9.49. Разрешение объектива, выраженное в парах линий на миллиметр

Разрешение в точках на дюйм (DPI)

Термин «точки на дюйм» (DPI) широко употребляется в настоящее время. Но под словом «точка» зачастую подразумеваются разные вещи, что и породило путаницу и неправильное толкование (нечто похожее происходит, когда в видеонаблюдении определяют разрешение в линиях и ТВ‑линиях). В печати мы выражаем разрешение в точках на дюйм. С учетом того, что дюйм равен 2.54 мм, можно пересчитать в точки на миллиметр, но такие единицы измерения не будут стандартными. Поэтому, когда мы говорим о 300 точках на дюйм, на практике это означает, что на миллиметр приходится более 10 точек. Естественно, это очень маленький размер, и человеческий глаз не в состоянии различить две мельчайшие цветные точки, когда они расположены очень близко при печати с разрешением 300 точек на дюйм. Теоретически для сравнения возможно перевести телевизионное разрешение, которое используется в видеонаблюдении, в точки на дюйм.

Но есть одно большое «но»… В печати смешивание цветов реализуется совершенно иначе, чем при аддитивном смешивании, когда используются основные цвета RGB. В данном случае мы имеем дело с субтрактивным смешиванием, при котором в качестве основных используются голубой, пурпурный и желтый. Для дополнительных темных тонов добавляется черный, хотя теоретически цветов CMY достаточно для отображения всей палитры цветов. Все вы знаете, что такая печать называется CMYK. Таким образом, при печати цветных журналов и книг в основном используется 4 цвета красок. Для получения результирующего цвета в печати мельчайших элементов изображения все элементарные цветовые точки располагаются очень близко друг к другу (схожим образом происходит смешение на телевизионном экране). Основное отличие от телевидения заключается в том, что цветовые точки не располагаются в линию одна за другой (как это в настоящее время происходит на люминофоре большинства электронно‑лучевых трубок и на экране жидкокристаллических мониторов). При печати четыре цветовые точки расположены под разными углами: 45 градусов для черного, 75 градусов для пурпурного, 90 градусов для желтого и 105 градусов для голубого. Для печати качественных журналов и брошюр в полиграфии требуется разрешение 300 точек на дюйм. Таким образом, когда мы читаем при нормальном расстоянии для чтения (обычно 50 см), человеческий глаз не различает цветные пикселы, и мы видим уже результат цветового смешения.

Рис. 9.50. К сожалению, по техническим причинам в черно‑белом издании мы не сможем проиллюстрировать принципы цветной печати CMYK, но некоторое представление о структуре пикселов вы получите, взглянув на увеличенную область (нижний правый угол) иллюстрации.

Психофизиология восприятия мелких деталей

Многочисленные эксперименты и тесты показали, что человеческий глаз может различить самое большее 5–6 пар линий на миллиметр. Этот показатель подразумевает оптимальное расстояние между глазом и объектом 30 см, то есть, когда мы, например, читаем достаточно мелкий текст. Это дает минимальный угол примерно в 1/60 градуса. Таким образом, это значение 1/60 градуса считается пределом угловой разрешающей способности для нормального зрения. Мы можем использовать угловую разрешающую способность глаза для лучшего понимания того, как человек воспринимает мелкие детали, что позволит нам затем применить наши теоретические познания на практике, в частности, в видеонаблюдении.

При расчете расстояния между человеком и монитором существует простая рекомендация, которая предписывает умножать высоту экрана монитора на семь. Вообще, необходимо понимать, что расстояние до монитора – это крайне важный аспект психофизиологического восприятия деталей в изображении. Человеку, который смотрит в монитор, совершенно не нужно находиться слишком близко к экрану, но и очень далеко от экрана располагаться зрителю тоже не стоит. При стандарте аналогового телевидения PAL с его 576 активными строками, расстояние до экрана монитора для оптимального восприятия деталей изображения рассчитывается исходя из предельного для глаза человека значения 5–6 пар линий на миллиметр, проецируемых на расстояние, где находится экран монитора. Так, если мы используем правило семикратной высоты экрана и возьмем, например, обычный монитор с диагональю 15 дюймов (38 см), у которого высота экрана будет примерно 23 см, то рекомендуемое расстояние до экрана составит примерно 1.6 м. Максимальная разрешающая способность человеческого глаза на этом расстоянии уменьшится примерно в 5 раз по сравнению с тем, что указано на рисунке для дистанции 0.3 м (1.6/0.3=5.33). В то время как на расстоянии 0.3 м глаз человека различает 5–6 пар линий на миллиметр, для 1.6 м разрешающая способность глаза уменьшится уже до 1 пары линий на миллиметр (2 линии на миллиметр, 0.5 миллиметра на 1 линию), что примерно и получится у нас, если мы разделим 576 активных линий на высоту экрана 23 см (2.5 линии на миллиметр). Все эти расчеты подразумевают, конечно, что у нас высококачественный монитор с высоким разрешением. Если мы сильно приблизимся к такому монитору, то мы не увидим никакой дополнительной информации. Если же мы увеличим дистанцию между человеком и экраном монитора, то это тоже не даст никакого положительного эффекта. Когда мы приближаемся к монитору, то эффект будет таким же, как если бы мы заменили этот монитор на другой, но с большей диагональю. Если, допустим, вы замените цветной монитор с диагональю 21 дюйм на другой монитор с диагональю 23 дюйма при том же расстоянии 1.6 м, то качество изображения и мелкие детали будут визуально восприниматься зрителем хуже. Для оптимального восприятия деталей на мониторе с диагональю 21 дюйм расстояние будет уже 2.1 м.

Рис. 9.51. 1/60 градуса считается пределом угловой разрешающей способности человеческого глаза

Такая же логика прослеживается и те же самые вычисления будут справедливы и для компьютерных мониторов высокого разрешения с электронно‑лучевой трубкой и размером зерна 0.21 мм. В этом случае оптимальным расстоянием до экрана дисплея будет около 0.6 м. Большинство жидкокристаллических дисплеев не могут похвастать столь малым размером зерна, которое в этом случае обычно составляет 0.28 мм. Поэтому на них удобнее смотреть с расстояния примерно 1 м.

Здесь указаны приблизительные расстояния между зрителем и экраном монитора, которые основываются на пределе угловой разрешающей способности человеческого глаза 1/60°.

При том же расстоянии до экрана визуально будет восприниматься как значительно более качественное изображение от обычного компьютерного дисплея с разрешением XGA (1024x768 пикселов), где реальная разрешающая способность дисплея будет 92 точки на дюйм (dpi). Это значение получается делением 1024 пикселов на ширину 14‑дюймового LCD‑дисплея ноутбука. Поэтому дисплей компьютера имеет большую площадь (в пикселах), но также и более высокую частоту обновления, чем мы используем в видеонаблюдении. Имейте в виду, что для нормального отображения таких высококачественных изображений на экране компьютер должен иметь хороший видеоадаптер с достаточным количеством видеопамяти, чтобы обрабатывать это количество пикселов (1024x768) с нужным количеством цветов для передачи реальной сцены (глубина цвета 24 бит, что позволяет отображать 16.7 миллионов цветов в цветовой схеме RGB). И еще одно важное замечание: такой дисплей не будет совместимым с видеостандартами PAL или NTSC, так как это компьютерный дисплей XGA. Для отображения вышеупомянутых стандартов потребуется преобразование, которое может быть более или менее успешным в зависимости от алгоритмов и технологии дисплея.

Рис. 9.52. Здесь указаны приблизительные расстояния между зрителем и экраном монитора, которые основываются на пределе угловой разрешающей способности человеческого глаза 1/60 градуса

На печати мы имеем даже более высокое разрешение на миллиметр, чем мы можем получить на любом мониторе. Именно поэтому нам часто кажется, что кадр, распечатанный на качественной фотобумаге с использованием принтера высокого разрешения, визуально выглядит значительно лучше, чем тот же кадр на обычном мониторе, используемом в видеонаблюдении. В основном это связано с тем, что когда мы смотрим на монитор, то располагаемся от него несколько дальше, чем при чтении этой книги.

Итак, давайте представим, что изображение от телекамеры высокого разрешения отображается на качественном видеомониторе, у которого в спецификациях указана горизонтальная разрешающая способность около 500 ТВ‑линий. Если у данного монитора диагональ экрана, например, 38 см (15 дюймов) то это означает, что он способен отображать примерно 666 вертикальных линий по 30‑сантиметровой ширине экрана (30 см = 11.8 дюйма). Если 666 линий мы поделим на 11.8 дюйма, то получим разрешение равное 56 точек на дюйм (56 dpi)!

Это практически самое высокое разрешение, которое мы можем получить при отображении аналогового видеосигнала, и оно определяется самим видеостандартом (PAL/NTSC).

Чтобы качественно распечатать телевизионный кадр, соответствующий стандарту ITU‑601, на струйном принтере, нам также необходимо знать основы технологии струйной печати. Это нам позволит выбрать нужное качество печати на принтере. Как и следовало ожидать, размер кадра на печати и его разрешение мы легко сможем рассчитать, так как мы знаем разрешение нашего принтера. Пусть это будет 1440 точек на дюйм. Впрочем, следует предостеречь нашего читателя от желания принимать на веру все технические характеристики, указанные в инструкциях к подобным устройствам. Эти значения не всегда соответствуют действительности и нашим ожиданиям. Те точки на дюйм, которые указаны в технических характеристиках вашего принтера (например, 720 или 1440 dpi), обозначают мельчайшие точки, которые могут быть отпечатаны одним соплом (голубого, пурпурного, желтого или черного цвета) печатающей головки струйного принтера. Ситуацию еще более запутывает тот факт, что это не те же самые точки на дюйм, к которым мы привыкли, когда речь идет о полиграфической печати. «Натуральные» цвета струйной печати получаются в результате процесса псевдосмешения цветов (точечных растров) для создания плавных переходов на цветном изображении, что представляет собой распыление краски и смешивание полученных точек различных размеров, чтобы получить результирующий цвет. На самом деле цветные струйные принтеры представляют собой бинарные устройства, в которых синие, пурпурные, желтые и черные точки находятся в состоянии «включено» (печатать) или «выключено» (не печатать) без каких‑либо промежуточных состояний. Такой подход концептуально отличается от подхода, использованного в электронно‑лучевых трубках мониторов, где люминофор может светиться с различной яркостью.

«Бинарный» струйный принтер, работающий в цветовой системе CMYK, может печатать только 5 «чистых» цветов: голубой, пурпурный, черный и желтый, а также и белый. При этом белый цвет – это всего лишь фоновый цвет бумаги (предполагается, что она действительно белая), но он также используется при формировании цветов. Очевидно, что такая цветовая палитра не может использоваться для качественной цветной печати. Впрочем, то же самое касается новых струйных фотопринтеров, у которых используется два дополнительных цвета (светло‑синий и светло‑пурпурный) для более естественной передачи оттенков кожи человека. Поэтому здесь в дело вступают алгоритмы формирования полутонов (half toning ), которые делят все разрешение принтера на ячейки полутонов и затем варьируют количество точек в этих ячейках, чтобы имитировать переменный размер точек. Аккуратно сочетая ячейки, которые содержат различные пропорции точек в цветовой системе CMYK, струйный полутоновый принтер способен обмануть человеческий глаз, заставив его увидеть палитру из миллионов цветов, вместо нескольких основных.

Есть одно очень простое правило, позволяющее нам вычислить нужные значения. Многие профессионалы цифровой обработки изображения, такие, как специалисты компании Adobe, предлагают делить разрешение, указанное в спецификациях струйного принтера на 4, чтобы получить реальное разрешение. На практике это означает, что струйный принтер с разрешением 720 точек на дюйм может передавать 180 цветных точек на дюйм. Для того чтобы получить самое высокое разрешение, нужно использовать соответствующую фотобумагу, которую рекомендует компания‑производитель струйного принтера.

Здесь следует сделать еще одно важное замечание. Когда мы экспортируем оцифрованное сжатое изображение, чтобы использовать его в качестве доказательства (для правоохранительных органов, в суде), то необходимо иметь это изображение в исходном формате или хотя бы экспортировать его в растровый формат BMP, который не вносит дополнительных артефактов компрессии. Когда мы сравниваем различные алгоритмы компрессии, то наиболее объективно мы поступим, сравнивая изображения, распечатанные на фотобумаге с использованием одного и того же высококачественного струйного принтера. Также мы можем сравнивать их на экране, но они должны быть предварительно экспортированы в формат BMP.

Рис. 9.53. В настоящее время высококачественные цветные принтеры достаточно дешевы и должны присутствовать в любой системе видеонаблюдения