Ключевые слова: Асинхронный аудио и видео MPEG-2 PCR DTS PTS Encoder Decoder
В связи с быстрым развитием цифрового телевидения в моей стране и продвижением цифровой трансформации городских радио- и телевизионных сетей все больше и больше людей начали использовать телевизионные приставки для просмотра программ цифрового телевидения. Но в процессе просмотра телепрограмм через приставку зрители иногда обнаруживают, что некоторые аудио и видео не синхронизированы. Это тоже привлекло наше внимание.
Феномен и тест
Город Гуйян в основном завершил цифровую трансформацию своей радио- и телевизионной сети в конце 2007 года, и программы телестанции Гуйчжоу также вошли в передачу по цифровой сети. После входа в цифровую сеть мы обнаружили, что несколько программ нашей станции имели феномен несинхронизации звука и видео в некоторых областях, особенно когда новости транслировались на спутниковом видеоканале и народном канале. Чтобы выяснить, в чем проблема, мы решили провести тест синхронизации губ на всем пути передачи нашей программы. Для тестирования использовалось оборудование Tektronix WFM7120. При измерении задержки аудио / видео также необходимо сгенерировать серию видеосигналов с короткими цветными полосами через TG700 DVG7, и аудиопоследовательность встраивается в эту группу видеосигналов с интервалом 5 с, отправьте такой сигнал на тестируемой системы и, наконец, отправьте сигнал на WFM7120, чтобы измерить разницу во времени между аудио и видео.
Внутренний тест центра управления вещанием
Как показано на рисунке 1, для того, чтобы измерить, есть ли разница в задержке аудио / видео в системе телестанции, мы используем время проверки, чтобы записать тестовый сигнал, генерируемый TG700, на жесткий диск вещания, воспроизвести его через жесткий диск, и подать тестовый сигнал на задержку. После модуля кадровой синхронизации он транслируется по каналу, а затем мы измеряем эти три сигнала до того, как отдел передачи передаст сигнал на кодировщик сетевой компании. Результаты измерения показывают, что разница задержки аудио / видео этих трех сигналов не превышает 12 мс, то есть одного поля недостаточно, что указывает на то, что сигнал не имеет проблемы синхронизации аудио и видео в центре управления вещанием.
Тестирование различных приставок
В качестве второй точки измерения мы выбрали интерфейсный компьютерный зал сетевой компании. Как показано на Рисунке 2, здесь мы выбрали для тестирования основные марки телевизионных приставок, которые в настоящее время используются в Китае. После кодирования тестового сигнала TG700 с помощью исходного кодировщика, который мы используем, вставьте его в канал, который мы сейчас транслируем. Затем используйте телеприставку в компьютерной комнате для демодуляции телевизионного сигнала. Затем декодированный аудио / видеосигнал отправляется в WFM7120 для измерения после аналого-цифрового преобразования и встраивания аналогового сигнала через видеомагнитофон Panasonic D950. Результаты измерений показывают, что разница в задержке аудио / видео для этих типов приставок различна, некоторые опережают 150 мс, а некоторые отстают на 300 мс. Это показывает, что разные телевизионные приставки имеют разные возможности для поддержания взаимосвязи синхронизации между аудио / видеосигналами после демодуляции и декодирования одного и того же цифрового ТВ-сигнала.
Тестирование разных энкодеров
Как показано на рисунке 3, мы по-прежнему используем генератор сигналов TG700 для тестирования различных кодировщиков и позволяем кодировщику, модулятору и телевизионной приставке создать имитацию среды вещания / просмотра. Здесь мы используем несколько кодировщиков разных производителей. После кодирования тестового сигнала TG700 он модулируется тем же модулятором, а затем сигнал декодируется той же приставкой. Он также обрабатывается D950 и отправляется на WFM7120 для измерения. Конечный результат измерения состоит в том, что некоторые из их различий в задержке аудио / видео составляют 30 мс, а некоторые достигают 300 мс, что указывает на то, что разные кодеры имеют большее влияние на синхронизацию аудио / видео окончательного сигнала просмотра телевизионной приставки.
Анализ причин
Принцип синхронизации системы MPEG-2
В настоящее время в системе передачи цифрового телевидения моей страны стандарт MPEG-2 является важным стандартом сжатия аудио и видео. Он сжимает, кодирует и мультиплексирует программные сигналы на стороне источника, а также демультиплексирует и декодирует сигналы на стороне приема. Широко использовался. Используемая нами система цифровой передачи основана на стандарте MPEG-2. Давайте посмотрим на системную структуру MPEG-2, как показано на рисунке 4.
Из рисунка 4 видно, что аудио- и видеосигналы образуют основной поток после того, как избыточная информация удаляется кодером сжатия. Этот элементарный кодовый поток не может быть сохранен или передан напрямую. Его нужно отправить конкретному упаковщику. Поток элементарного кода разделен на параграфы в соответствии с определенным форматом, и определенные идентификационные символы добавляются для формирования так называемого потока элементарного кода с упаковкой (PES). Пакеты PES - это пакеты аудио- и видеоданных переменной длины. Затем в подсистему передачи отправляются аудио- и видеопакеты PES и вспомогательные данные, которые разделяются на небольшие пакеты данных с фиксированной длиной 188b и мультиплексируются посредством мультиплексирования с временным разделением. Формируется единый поток TS, и поток TS достигает принимающей стороны после передачи по каналу.
Как мы все знаем, синхронизация - необходимое условие для правильного отображения ТВ. Для цифрового телевидения, поскольку буфер используется для хранения сигнала во время процесса сжатия и кодирования, ось времени сигнала в мультиплексоре изменяется, плюс величина избыточности данных отличается, степень сжатия также отличается, поэтому ось времени Большие изменения, особенно в обработке группового слоя кадров, также изменился порядок кадров B и P. Все это приводит к тому, что синхронизация сигналов цифрового телевидения полностью теряет понятие исходной последовательности. Эффективный способ достижения синхронизации - добавлять метку времени к потоку кода сигнала каждый раз, когда проходит заданный интервал. С помощью этого тега принимающая сторона может быть переупорядочена в соответствии с этим временным тегом во время процесса декодирования перед отображением, реконструировать порядок изображения перед сжатием и кодированием и временные отношения между звуком и изображением, тем самым достигая синхронизации изображения и звук синхронизируется с изображением.
Из рисунка 4 также видно, что в кодере MPEG-27 используется один общий системный тактовый сигнал STC (2 МГц). Эти часы используются для создания отметки времени, указывающей правильное декодирование и синхронизацию отображения аудио / видео. В то же время его можно использовать для индикации выборки. Мгновенное значение мгновенного времени системных часов. Часы синхронизируются по фазе за счет линейной синхронизации входного видео. Когда на вход поступает сигнал SDI, системные часы кодера генерируются часами, деленными на 10. Это появление общих системных часов в кодере, а также восстановление часов в декодере и правильное использование меток времени, которые обеспечивают основу для правильной синхронизации операций в декодере. Чтобы реализовать тактовую синхронизацию кодека, системные часы STC подсчитываются в кодере, и значение выборки счетчика передается приемнику в адаптационном заголовке выбранного пакета TS каждые определенное время передачи в качестве декодирования. Программный тактовый опорный сигнал процессора, которым является PCR. Действительный бит PCR - 42b, среди которых высокий 33b - это PCR_Base, который представляет собой значение счетчика в единицах тактовой частоты 27 МГц и тактовой частоты, деленной на 300, а младший 9b - это PCR_Extension, который представляет собой значение счетчика в тактовой частоте 27 МГц. как единица. Помимо PCR, метка времени декодирования DTS и метка времени отображения PTS также очень важны. Они похожи на PCR_Base. Они также создаются с помощью системных часов кодировщика 27 МГц, деленных на 300 как значение счетчика единиц. Среди них DTS используется для указания декодеру, когда декодировать полученное изображение и аудиокадр, а PTS используется для уведомления, когда отображать декодированный кадр изображения.
При использовании двустороннего кодирования декодирование определенного изображения должно выполняться в течение определенного периода времени перед его отображением, чтобы его можно было использовать в качестве исходных данных для декодирования изображения B-кадра. Например, порядок отображения изображений - IBBP, а порядок передачи изображений - IPBB. Эталонная модель MPEG считает, что декодирование происходит мгновенно, то есть декодирование и отображение выполняются одновременно. Для аудиокадров и кадров изображения B время декодирования и время отображения одинаковы, а PTS совпадает с DTS, поэтому необходимо передавать только PTS. Для I-кадров видео и P-кадров из-за переупорядочения кадров время декодирования и время отображения различаются, и PTS и DTS должны передаваться одновременно. Когда декодер принимает последовательность изображений IPBB, он должен декодировать изображения I-кадра и P-кадра перед декодированием первого изображения B-кадра. Декодер может декодировать только один кадр изображения за раз, поэтому он сначала декодирует изображение I-кадра и сохраняет его. Когда изображение P-кадра декодируется, оно выводит и отображает декодированное изображение I-кадра, а затем декодирует и отображает изображение B-кадра. Таблицы 1, 2, 3 и 4 показывают последовательность входных и выходных изображений кодера, значения PTS и DTS каждого кадра, а также последовательность декодирования и отображения каждого кадра изображения декодером.
В таблице 1 13 кадров изображений составляют группу изображений, первый кадр I кадра использует внутрикадровое кодирование, второй и третий кадры B получаются путем двунаправленного предсказания из первого и четвертого кадров, а четвертый кадр P кадра является прошел мимо первого кадра. На основе прогнозирования вперед. После кодирования первого кадра кодер сначала буферизует второй и третий кадры, кодирует четвертый кадр, а затем кодирует второй и третий кадры и так далее, и окончательная закодированная выходная последовательность показана в приведенной таблице 2.
Из Таблицы 3 и Таблицы 4 видно, что когда декодер принимает определенную единицу доступа, содержащую изображение I-кадра, пакет данных файла должен содержать DTS и PTS, время между значениями этих двух тегов. Интервал равен единице. период изображения. После того, как изображение I-кадра является P-кадром, в пакете данных файла также должны быть DTS и PTS, а временной интервал между значениями двух тегов составляет три периода изображения. Затем идут два B-кадра, пакеты данных файлов которых содержат только PTS. То есть изображение I-кадра будет воспроизводиться и отображаться с задержкой в один кадр после декодирования. Когда отображается I-кадр, декодируется четвертый кадр P-кадра, но он не воспроизводится и не отображается. Сначала он кэшируется, и после воспроизведения и отображения кадра 1I немедленно декодировать и отображать кадры 2B, затем кадры 3B, затем отображать буферизованные кадры 4P, декодировать и буферизовать кадры 7P одновременно и т. Д. Можно видеть, что последовательность декодированных и отображаемых изображений соответствует последовательности ввода изображений в таблице 1.
Принцип тайминга декодера (приставки)
PTS и DTS - это всего лишь значения 33b. Если нет ссылки на временную ось, представленную PCR, это значение не имеет смысла. Чтобы поддерживать правильное декодирование, системные часы кодера и декодера (телевизионной приставки) должны быть заблокированы, то есть их частоты должны быть одинаковыми, а начальные значения их соответствующих счетчиков одинаковы.
В декодере (приставке) установлен генератор, управляемый напряжением (ГУН) с частотой около 27 МГц. Выходной сигнал отправляется на счетчик в качестве системных часов для генерации текущего значения выборки STC, которое является значением 42b, как и PCR. Среди них высокий 33b - это значение счета в единице тактовой частоты 27 МГц после розовой частоты 300, а низкий 9b - это значение отсчета в единице тактовой частоты 27 МГц. Когда новая программа поступает в декодер (телевизионная приставка), декодер (телевизионная приставка) получает значение PCR из кодового потока, сравнивает свое значение PCR_Extention с младшими 9b битами текущего STC и получает ошибку. сигнал, а затем проходит через цепь фазовой автоподстройки частоты. Отрегулируйте генератор, управляемый напряжением, так, чтобы системная тактовая частота декодера (телевизионной приставки) соответствовала системной тактовой частоте кодировщика. Получите значения PTS и DTS каждого кадра последовательно из кодового потока и сравните их со старшими битами 33b текущего значения STC. Если значение DTS больше, чем значение STC, кодовый поток буферизуется, и одновременно отслеживается изменение значения STC. Когда значение STC увеличивается до значения DTS, кодовый поток кадра декодируется. Когда значение STC равно значению PTS, воспроизведите кадр. Если из-за дрожания задержки буфера сети передачи, когда кодовый поток достигает декодера (телевизионной приставки), его значение PTS уже меньше значения STC, тогда декодер (телевизионная приставка) пропускает этот кадр и отбрасывает данные кадра. Поскольку PTS и DTS генерируются на основе значения PCR, первое полученное значение PCR должно использоваться в качестве начального значения для установки счетчика STC декодера (телевизионной приставки), чтобы сделать их значения одинаковыми, в противном случае временная база будет другой. , Значит ошибка декодирования. Обработка аудио и видео аналогична, но нет проблем с перестановкой таймингов. На рисунке 5 представлена принципиальная схема декодера (приставки) ПЦР.
Причины рассинхронизации звука и видео
В практических приложениях некоторые кодеры вызывают дрожание в своих выходных часах из-за нестабильной временной базы входного видеосигнала, а интервал кадровой синхронизации не составляет 40 мс. Для этих кодеров после установки начального значения DTS в соответствии с PCR и задержкой буферизации значение DTS каждого кадра получается путем добавления фиксированного значения к предыдущему DTS (это значение можно рассчитать следующим образом: 27 МГц делится на 300. 90 кГц, а PAL TV - 25 кадров в секунду. Следовательно, значение составляет 90000/25 = 3600), а значение PTS рассчитывается в соответствии с типом кадра и типом GOP. Однако значение PCR не увеличилось на 3600 в течение этого периода, что привело к тому, что DTS и PTS стали больше или меньше по сравнению с PCR. Некоторые декодеры (телевизионные приставки) не используют генератор, управляемый напряжением, и их системные часы имеют фиксированную частоту 27 МГц, но используют полученное значение PCR для инициализации значения локального системного счетчика часов. Кодер и декодер (телевизионная приставка) не могут поддерживать строгую блокировку, что может привести к тому, что декодер (телевизионная приставка) будет пропускать кадры. Однако некоторые декодеры (телевизионные приставки) больше не строго декодируют и отображают в соответствии с DTS и PTS после потери кадра, а декодируют в соответствии с ситуацией в буфере, поскольку задержка кодирования видео и аудио различается, это может вызвать аудио Картина не синхронизирована.
Кроме того, в процессе передачи от кодера к декодеру (телеприставке) из-за наличия буферных каналов с переменной задержкой, таких как мультиплексоры и модуляторы, задержка передачи пакетов PCR может быть непостоянной, варьируясь от большой до небольшой. Если ПЦР не исправить, также могут возникнуть указанные выше проблемы.
подводить итоги
Из приведенного выше анализа видно, что и кодер, и декодер (приставка) могут вызывать асинхронизацию аудио и видео. После тестирования кодировщиков различных производителей наша станция выбрала кодировщик с лучшими тестовыми показателями и заменила исходный кодировщик, что значительно улучшило явление рассинхронизации звука и изображения на телевизоре. На следующем этапе внедрения телевизионных приставок сетевые компании также укрепят тестирование соответствующих показателей, чтобы повысить качество оценок аудитории. Конечно, в процессе перехода к цифровым технологиям радио и телевидения моей страны нам по-прежнему необходимы совместные усилия наших телевизионных работников и производителей оборудования, чтобы наконец добиться полного успеха.
Наш другой продукт:
