Разбиение изображения на блоки в JPEG и MPEG

Черно-белое изображение разбивается на блоки 8х8 пикселов и кодируются далее один за другим: слева направо, один горизонтальный ряд макроблоков за другим.

Для цветного изображения в формате Y, C_В, C_R для каждого пикселя задаются значения яркости и ЦРС. Для формата 4:2:0 на каждые четыре блока элементов сигнала яркости Y будет приходиться один блок элементов сигнала С_B и один блок элементов С_R ( рис.5.39, 5.40) в следующем порядке.

Матрицы C_R и С_B в два раза меньше (как по горизонтали, так и по вертика­ли), чем матрица Y_D. Матрица Y_D должна иметь четное число строк и столб­цов (если изображение передается по полям, то количество строк в изобра­жении должно быть кратно четырем). Каждой паре отсчетов цветности C_R и С_B соответствует матрица из четырех отсчетов яркости (два по вертикали, два по горизонтали).

Рис. 5.39. Разбивка изображения на блоки в MPEG и JPEG

4:2:2 – макроблок состоит из восьми блоков. Он содержит четыре блока Y_D, два C_R и два С_B в следующем порядке.

Матрицы C_R и С_B два раза меньше матрицы Y_D по горизонтали и равны по вертикали. Матрица Y_D должна иметь четное число строк и столбцов (если изображение передается по полям, то количество строк в изображении долж­но быть кратно двум). Каждой паре отсчетов яркости по горизонтали соот­ветствует по одному отсчету из матриц цветности. Данный формат принят для оцифровки изображений профессиональными цифровыми видеокамера­ми, а также для цифрового телевидения.

4:4:4 – макроблок состоит из двенадцати блоков. Он содержит четыре блока Y_D, четыре C_R и четыре С_B в следующем порядке.

Матрицы C_R и С_B равны по размеру матрице Y_D. Если изображение передает­ся полями (с чересстрочной разверткой), то количество строк в изображении должно быть кратно двум. Каждому отсчету яркости соответствует по одно­му отсчету из матриц цветности.

Внутренняя организация макроблоков различна при кодировании полей и кадров. При кодировании полей блоки яркости группируются по полям: верхние – из первого полукадра, нижние – из второго. Блоки цветности располагаются в порядке следования кадров для обоих типов кодирования (для кодирования 4:2:2 и 4:4:4 данные цветности также могут располагать­ся по полям).

Следующие друг за другом макроблоки объединяют в независимые друг от друга серии (Slice). Серия является основным элементом синхронизации для восстановления данных, составляющих изображение, и обычно состоит из всех блоков в горизонтальном направлении изображения с интервалом 16 строк, т. е. имеет толщину в один макроблок. Порядок макроблоков в серии тот же, что и при обычном сканировании растра в телевидении: слева направо и сверху вниз. Представление информации сериями удобно для коррекции ошибок. Когда появляется ошибка в потоке данных, декодер может обратить­ся к началу следующей серии. Соответственно число таких серий влияет на эффективность передачи.

Производится разбиение потока кадров изображения по типам, для них находятся векторы движения, которые необходимы для повышения пред­сказуемости величин элементов изображения. Векторы движения обеспе­чивают компенсацию перемещений в прошедших и последующих кадрах. Компенсация движения применяется при предсказании текущего кадра на основе предыдущих и интерполяционного предсказания на основе прошед­ших и последующих изображений. Векторы движения определяются для каждой зоны изображения с размерами 16 ´ 16 пикселов, т.е. для макро­блоков (материал будет рассмотрен позже).

Возможны два варианта кодирования блоков цветного изображения. По первому, последовательному варианту сначала кодируются все блоки элементов сигнала Y, затем все блоки элементов сигнала Св (Ев-у) и далее все блоки сигнала С_R . Второй вариант предусматривает перемежение блоков разных составляющих. Например, при формате 4:2:0 сначала кодируются четыре блока Y, образующие матрицу 2х2, затем один блок С_B и далее - один блок G_R, затем следующие четыре блока Y и т.д.

При объединении блоков в декодированное изображение количество элементов С_B и С_R восстанавливается с помощью интерполяции.

Макроблок 4:2:0 состоит из 6 блоков: четыре блока яркости Y (1,2,3,4) и два блока цветности С_B (5) и С_R (6) (рис.5.39). Матрицы С_B и С_R в два раза меньше (как по горизонтали, так и по вертикали.), чем матрица Y. Для повышения качества цветного изображения число отсчетов цветности в формате 4:2:0 можно довести до числа отсчетов формата 4:2:2, макроблок которого состоит из 8 блоков: четыре блока Y и по два блока G_R и Св.

Путем интерполяции число отсчетов в формате 4:2:0 можно довести до формата 4:2:2 (рис.5.40).

Рис. 5.40. Форматы представления телевизионного сигнала

Большинство современных методов сжатия как неподвижных, так и видеоизображений, обеспечивающих сжатие в десятки, а иногда в сотни раз, предполагает некоторые потери, то есть восстановленное изображение не совпадает в точности с исходным. Потери эти связаны с отказом от передачи или некоторого "загрубления" тех компонентов изображения, чувствительность к точности воспроизведения которых у человеческого глаза невелика. Рассмотрим это на конкретных примерах.

Как было сказано выше, при записи изображений традиционно используется RGB-представление, когда на каждую цветовую составляющую приходится по одному байту. Альтернативный подход состоит в переходе от RGB- к YCrCb-представлению:

Y=0,299*R+0,587*G+0,114*B,

Cb=(B-Y)/0,866/2+128,

Cr=(R-Y)/0,701/2+128.

Чувствительность человеческого глаза к яркостному Y-компоненту и цветностным компонентам Cb и Cr неодинакова, поэтому вполне допустимым представляется выполнение этого преобразования с прореживанием (интерливингом) Cb- и Cr-компонентов, когда для группы из восьми соседних пикселов (2Х2) вычисляются Y-компоненты, а Cb и Cr используют формат 4:1:1. Более того, пре- и постфильтрация в плоскостях Cb и Cr позволяет использовать прореживание по схеме 16:1:1 без сколько-нибудь значительной потери качества.

Схема 4:1:1

Y=0,299*8+0,587*8+0,114*8=7,856 Бит,

Cb=Y/4=1,964 Бит,

Cr= Y/4=1,964 Бит,

Y+Cr+Cb=11,784 Бит.

Расчет показал, что схема 4:1:1 позволяет сократить выходной поток вдвое.

Схема 16:1:1

Y=0,299*8+0,587*8+0,114*8=7,856 Бит,

Cb=Y/16=0,491 Бит,

Cr= Y/16=0,491 Бит,

Y+Cr+Cb=8,838 Бит.

Схема 16:1:1 позволяет сократить выходной поток в 2,71 раза.

В основе ставших уже классическими стандартов сжатия JPEG (для статических изображений) и MPEG (для видеоданных), так же как и в сравнительно новых методах сжатия на основе Wavelet-преобразования, лежит переход от пространственного представления изображения к спектральному. В случае JPEG/MPEG для такого перехода используется дискретное косинус-преобразование (ДКП) на блоках 8Х8, в случае Wavelet - система фильтров, примененных к изображению. На рисунке 5.40.1 приведен фрагмент некоего блока (матрицы) пикселов размером 8Х8

Рис. 5.40.1 Фрагмент блока матрицы 8Х8

(разделенный по диагонали черно-белый квадрат). Применение к пиксельной матрице ДКП дает матрицу из 64 коэффициентов или спектральных составляющих. Нулевой коэффициент представляет собой среднюю яркость исходного блока, поэтому, отбрасывая при восстановлении коэффициенты с 1 по 63, мы получим просто серый квадрат (в верхнем ряду в центре). Добавление первого коэффициента позволяет достаточно грубо описать распределение яркостей в исходном блоке по горизонтали (вверху справа).

Внизу слева и в центре приведены результаты восстановления исходного блока с использованием коэффициентов соответственно 6 и 15. Очевидно, что число ненулевых спектральных составляющих тем выше, чем больше мелких деталей содержалось в исходном блоке. Эксперименты показывают, что на типичных полутоновых изображениях более половины всех блоков 8Х8 могут быть описаны менее чем 20-ю спектральными составляющими.

Чувствительность человеческого глаза к точности передачи высокочастотных спектральных составляющих невелика, что позволяет сократить число бит, используемых для их кодирования. Реализуется такое сокращение делением каждого частотного коэффициента на соответствующий ему элемент матрицы квантования, причем матрицы квантования для цветностных компонентов (Cb и Cr) содержат, как правило, большие коэффициенты для одних и тех же спектральных составляющих, чем для яркостной.

Квадрат в нижнем ряду справа иллюстрирует реконструкцию исходного блока 8Х8 при использовании матрицы квантования, обеспечивающей приблизительно восьмикратное сжатие типичного полутонового изображения.

Достижение высоких степеней сжатия (порядка сотен) при использовании методов, основанных на ДПК, невозможно, поскольку минимальным кодируемым в них остается стандартный блок 8Х8. Использование блоков большего размера возможно, например, на блоках 16Х16, но практическая реализация таких схем сопряжена с серьезными вычислительными затратами. При неумеренном повышении степени сжатия изображение становится все более "оквадраченым".

Гораздо более перспективным для получения больших коэффициентов сжатия представляется использование Wavelet-преобразования (wavelet - небольшая волна.). Переход в частотную область в схемах на его основе достигается применением набора фильтров, о чем будет сказано ниже.