Артефакты, возникающие при передаче данных

Самый распространённый и раздражающий артефакт, появляющийся в ходе съёмок стереоскопического изображения, – излишняя дистанция разведения между изображениями стереопары. Частично это может быть вызвано геометрией камеры и её положением, для устранения причины используется специальная коррекция изображения. Тем не менее, зачастую требуется, чтобы хорошо откорректированное стереоскопическое изображение было показано в ином размере по сравнению с тем, в котором оно было снято. Изменение размера или разрешения стереопары может также привести к неестественной дистанции разведения изображений.

При изменении размера стереоскопической пары соответствующая дистанция разведения изменяется пропорционально размеру изображения. Однако поскольку глазное межосевое расстояние остаётся постоянным, просмотр близко расположенного экрана мобильного телефона требует установить иную дистанцию разведения, чем имевшую место при просмотре большого 3D экрана, расположенного на большом расстоянии от зрителя. Данный эффект поясняет рис. 1.

Рис. 1 Изменение дистанции разведения изображений стереопары

при масштабировании.

Наиболее распространёнными являются 2 подхода для кодирования 3D-видеоданных. Первый из них – «multi-view coding» (MVC), то есть дословно «кодирование нескольких изображений», когда видео кодируется в виде отдельных потоков, а временные и межканальные корреляции используются для сжатия данных. Этот подход стандартизируется как поправка к H.264/AVC. Другой подход заключается в дополнении 2D видео детальным представлением глубины сцены и кодировании каналов 2D видео и глубины сцены по отдельности. MPEG определяет формат контейнера, который позволяет использовать сжатие по стандарту H.264/AVC для этого формата. Использование сжатия изображения по блокам на основе дискретно-косинусного преобразования Фурье приводит к появлению артефактов в виде блочной структуры изображения, которые хорошо изучены в 2D видео, в то время как их влияние на качество стереоскопического изображения ещё предстоит определять. Человеческий мозг способен воспринимать изображение как единое целое, сочетая изображения, которые дают левый и правый глаз (так называемое циклопическое изображение). Поэтому один и тот же способ квантования коэффициентов ДКП может привести к различному восприятию качества при влиянии эффекта глубины стереоизображения. На рис. 2 показано изображение, при сжатии которого в обоих сигналах стереопары использовался одинаковый фактор квантования. Когда объект находится на одном и том же месте в обоих кадрах стереопары (нулевая дистанция разведения), то он подвергается одинаковому воздействию блочной структуры в обеих стереопарах, и циклопическое изображение, которое увидит зритель, будет иметь вид, близкий к изображению на рис. 2а. Если же у объекта разные позиции в кадрах стереопары, то влияние блочной структуры в каждом кадре стереопары будет различным, что иллюстрируется на рис. 2б.

а б

Рис. 2 Влияние блочной структуры изображения на стереопару:

а – фактор квантования q = 15, дистанция разведения disparity = 0;

б – фактор квантования q = 15, дистанция разведения disparity = 4.

Артефакты, обусловленные ошибками передачи, появляются редко, к тому же, они являются весьма разнообразными с точки зрения проявления, длительности по времени и интенсивности, а при очень низкой скорости потока маскируются артефактами компрессии. Наличие артефактов во многом зависит от применяемых алгоритмов кодирования и от того, в какой мере декодер справляется с канальными ошибками. При передаче по стандарту DVB-H наиболее распространены пакетные ошибки, которые приводят к потере пакетов, распределённых в небольшие группы. В декодерах, работающих по стандарту MPEG-4, потери пакетов могут привести к накапливанию или, наоборот, к ненакапливанию ошибок в зависимости от того, в каком месте относительно ключевого кадра появляется ошибка, и от связи между ключевым и предсказанными кадрами. Типовые ошибки в канале DVB-H могут быть исследованы при помощи измерений сигнала, а затем использованы для моделирования потерь сигнала в канале связи. В случае кодированного видео по стандарту Multi-View, когда одно изображение стереопары предсказывается по своей соответствующей паре, пакетная ошибка оказывается достаточно длинной и искажает оба сигнала стереопары. В этом случае артефакты, вызванные потерей пакета, появляются в одинаковых местах на обоих изображениях, несмотря на то, что заметность артефакта на одном из изображений ослаблена ошибкой предсказания (рис. 3). Если же при кодировании 3D видео используется дополнительный сигнал глубины, то, как правило, ему отводится очень небольшая скорость потока, нежели 2D видеосигналу. В этом случае пакетные ошибки главным образом искажают сам видеосигнал, а ослабление эффекта глубины в отдельности почти не влияет восприятие качества.

Рис. 3 Влияние потери пакета на декодированную стереопару.

Один из распространённых артефактов, возникающих при получении и декодировании 3D видео, – временное рассогласование, когда одно из изображений стереопары оказывается задержанным относительно другого. Оно может быть вызвано недостаточной ёмкостью памяти или мощности процессора, либо маскированием временной ошибки в одном из каналов. Следствием является то, что текущее изображение одного из каналов появляется не со своей синхронной парой другого канала, а с более ранним кадром. Даже такое незначительное рассогласование по времени, как всего на 2 кадра, может дать стереоскопически несовместимую пару изображений. Например, для сравнения на рис. 4 показаны 2 изображения: левое изображение получается наложением кадров с номером 112 из левого и правого каналов стереофильма, а правое – наложением кадра 112 из правого канала и кадра 115 из левого канала одного и того же стереофильма.

а б

Рис. 4 Временное рассогласование в стереокино:

а – совмещение изображений стереопары; б – совмещение изображений стереопары с временным рассогласованием, равным 3 кадрам.