Интерполяция кадров что это

Сменить шрифт на обычный короткая ссылка на новость:
↑ следующая новость | предыдущая новость ↓

В обсуждениях телевизоров 4K постоянно поднимается вопрос о частоте обновления кадров. На то есть весомые причины. С одной стороны, частота обновления кадров напрямую влияет на получение удовольствия от просмотра видео контента, будь то фильмы или спортивные видео трансляции.

С другой стороны, производители телевизоров сами запутывают покупателей специфическим жаргоном, которым они описывают данную функцию в спецификациях. Главная проблема их описаний в том, что это либо откровенный обман, либо неверно технически. В результате даже специалист не всегда может разобраться в их описаниях.

Данная статья написана с целью отбросить все жаргонные словечки и маркетинговую терминологию, чтобы доходчиво объяснить читателю три простые вещи: что такое частота обновления кадров применительно к видео, что такое «естественная» (native) и «улучшенная» (enhanced) частота обновления кадров, и какой эффект оба типа развертки оказывают на качество картинки, которую показывает телевизор.

Все современные премиумные 4K телевизоры, такие как Samsung KS9500, работают с «естественной» (native) частотой развертки в 120 Гц.

Что же такое частота обновления кадров?

На самом фундаментальном уровне частота обновления кадров является тем, что обозначает ее название. Это частота, с которой ваш телевизор обновляет картинку каждую секунду. Чем выше частота обновления, тем более плавную и естественную картинку вы видите на экране. Частота обновления кадров имеет особое значение для динамичного видео высокого разрешения. У каждого видео есть предел, до которого можно увеличивать частоту обновления кадров.

Важно понимать, что телевизор не может добавлять «детализации» к видеоисточнику. Все детали уже находятся внутри видео, а телевизор может лишь обрабатывать сигнал.

Если в качестве примера взять пленку, которую крутят в кинотеатре, то там эквивалентом частоты кадров будут 24 кадра в секунду. Затем эти 24 кадра конвертируются в 30 кадров для телевещания. После этого проводятся некоторые манипуляции с видео и получаются 60 кадров в секунду, которые соответствуют «развертке» в 60 Гц – формате, в котором сегодня выпускается большинство цифрового видео.

4К телевизоры способны работать как в режиме 60 Гц, так и в режиме 120 Гц (60 или 120 картинок в секунду). Старые HD телевизоры работают в основном при 60 Гц (многие модели на самом деле при 50 Гц). Поскольку от 4K телевизоров ожидают высочайшего качества, 60 Гц тут же стали чем-то вроде устаревшей технологии, и сейчас все 4K телевизоры поддерживают частоту развертки равную 120 Гц.

Как связаны частота обновления кадров и количество кадров в секунду видео источника?

И конечно же возникает еще один вопрос: что происходит при просмотре видео 60 Гц на телевизоре со 120 Гц? Телевизор распознает 60 Гц источника и после этого может совершить несколько манипуляций или «улучшений», чтобы показать корректное изображение.

Кадровая интерполяция

Первый метод, который мы рассмотрим, называется кадровой интерполяцией, и эту технологию используют все современные телевизоры, в том числе и 4K телевизоры. Суть данной технологии в том, что берутся два или более разных видео кадра, после чего они накладываются друг на друга и результат данной операции показывается между реальными кадрами. В результате картинка получается немного более смазанной.

Следующий метод называется «вставка черных кадров» (black frame-insertions, BFI). Данная технология заключается в том, что вместо пропущенных кадров вставляются черные кадры. Данный метод позволяет бороться с размытием при движении в кадре (motion blur).

Пример метода BFI.

Что же такое motion blur в 4K телевизорах?

Размытие при движении это проблема видео источника. Оба метода, описанные выше, нужны для того чтобы избежать подобного эффекта при 120 Гц и 60 Гц. Нужно так же понимать, что телевизоры со 120 Гц намного лучше контролируют размытие, чем их 60 Гц аналоги. Размытие, как явление, которое мы воспринимаем своим глазом – это составная честь нескольких факторов. Прежде всего это размытие, свойственное типу матрицы телевизора. Второе, это рассинхронизация развертки и количества кадров в секунду. Третье, это размытие, которое было «зафиксировано» камерой при съемках.

Телевизор не может ничего сделать с размытием, которое возникло при съемках. Интерполяция и BFI нужны для борьбы с первыми двумя причинами возникновения размытия. Оба способа «обманывают» наш мозг так, что мы видим более четкую картинку при просмотре фильма или спортивной трансляции.

Чем лучше 4K телевизор может «подгонять» картинку (24p, 30fps, 60fps) под свои 120 Гц, тем естественней и приятней она будет смотреться. Разумеется, это еще и означает уменьшение дрожания картинки и снижение уровня размытия. Одно из ключевых отличий хорошего 4K телевизора от плохого, в методах обработки картинки с движением в кадре. Чем дешевле телевизор, тем хуже он устраняет вышеперечисленные негативные эффекты.

Отличными примерами телевизоров 4K с разверткой в 120 Гц и хорошим подавлением размытия и дрожания картинки являются телевизоры Samsung 2015 и 2016 годов выпуска, а так же телевизоры LG OLED 4K, которые начали выпускать в этом году.

Как связаны частота обновления кадров и компьютерные игры?

4K телевизоры сегодня очень часто используют в качестве гигантских игровых мониторов и подключают их к компьютерам через HDMI.

Большая часть современных 4K телевизоров отлично работают в роли мониторов, потому что их частоты обновления кадров поддерживают две функции. С одной стороны, все основные брэнды, выпускающие 4K телевизоры в 2015 и 2016 годах, отлично работают при 60 кадрах в секунду, из-за того, что их частота развертки равна 60 Гц. С другой стороны, практически все телевизоры поддерживают 120 Гц, что делает комфортной игру при 120 кадрах в секунду.

Примеры моделей 4K телевизоров, которые отлично подойдут для игр при 60 Гц: Samsung JU7100, LG OLED 4K EF9500, Samsung SUHD KS8000.

4K телевизоры, которые поддерживают Full HD при 120 Гц это Sony X810C и X850C.

Что же значат «улучшения» частоты кадров применительно к 4K телевизорам?

Прежде чем мы продолжим, запомните одну фундаментальную и простую вещь, которая позволит избежать недопонимания в будущем. Частота развертки может быть только 60 Гц или 120 Гц.

Любая, указанная производителем, частота развертки выше 120 Гц является следствием действия более интенсивных версий интерполяции или BFI. Такие «улучшенные» развертки могут достигать 240 Гц. У каждого производителя данная «технология» называется по своему.

Если 4K телевизор предлагает частоту развертки 60 Гц, то «улучшенной» (enhanced) разверткой будут 120 Гц, если обычная развертка телевизора 120 Гц, то «улучшенная» будет 240 Гц. Примеры таких разверток и их названия включены в список, с которым вы можете ознакомиться ниже:

• Sony: MotionFlow

• 120 Гц при 60 Гц native refresh и 240 Гц при 120 Гц «родной» (native) развертке

Samsung: Motion Rate

120 Гц при 60 Гц native и 240 Гц при 120 Гц native развертке

LG: TruMotion

120 Гц при 60 Гц native и 240 Гц при 120 Гц native

Vizio: Effective Refresh Rate

120 Гц при 60 Гц native и 240 Гц при 120 Гц native. Vizio предлагает развертку “Clear Action”, которая удваивает переработанную картинку. В итоге получаются цифры наподобие 480 Гц и 720 Гц для 60 Гц или 960 Гц для 120 Гц. Эти цифры ничего не значат и были придуманы для того, чтобы впечатлить потенциального покупателя.

Panasonic: Image Motion

120 Гц при 60 Гц native и 240 Гц при 120 Гц native

Графики, подобные этому, обманывают покупателей и заставляют их думать, что существует развертка выше 240 Гц. На самом деле развертки выше 240 Гц никак не влияют на качество картинки.

Заключение

В большинстве случаев обычной развертки в 120 Гц будет достаточно. Некоторые телевизоры предлагают отличное качество картинки и контроль движения в кадре при 60 Гц. Разница между 60 Гц и 120 Гц будет едва заметна на видео, которое сделано под 60 Гц. Дополнительные технологии улучшения движения в кадре (такие как удвоение частоты обновления) являются хорошим бонусом в специфических ситуациях, например при просмотре спортивных состязаний, где размытие добавляет эффект присутствия. На все технологии, делающие частоту развертки выше 240 Гц, можно смело не обращать внимания.

Интерполяция кадров очень ценная функция, о существовании которой знают все, но почти никто не знаком с ее настоящим эффектом, потому что в 99.99% примеров предлагают смотреть в кадре совсем не на ту его часть, где она работает.

«Путаница, которая много лет вводит всех в заблуждение, заключается в том, что при демонстрации работы интерполяции кадров предлагают смотреть на быстро движущийся предмет, а не на быстро движущуюся часть кадра. В результате зритель смотрит на мчащиеся автомобили, бегущих спортсменов, прыгающих животных, которые . на самом деле неподвижны(!) в кадре, потому что их ведет камера. После такой инструкции никто не смотрит на то, что действительно быстро перемещается в кадре, а точнее по кадру, на задний план, который дергается и его смещение рывками разрушает желанный эффект реалистичности.

Когда узнаешь на что смотреть, и видишь реально плавное движение фона в панорамной съемке, то после этого точно не хочется покупать проектор или телевизор без функции интерполяции кадров. На что именно смотреть хорошо демонстрирует представленное ниже небольшое видео компании Epson, а точнее его 5 секунд с 24-й по 29-ю. Первый раз это видео запустится с 24-секунды, а при повторном просмотре придется самостоятельно переходить к этому моменту на 24-ю секунду. Рекомендуем в настройках YouTube установить скорость просмотра 0.5. Смотреть нужно не на альпиниста, а на ледник, который дергается на левом экране и плавно движется на правом».

Интерполяция изображений происходит во всех цифровых фотографиях на определённом этапе, будь то дематризация или масштабирование. Она происходит всякий раз, когда вы изменяете размер или развёртку изображения из одной сетки пикселей в другую. Изменение размера изображения необходимо,когда вам нужно увеличить или уменьшить число пикселей, тогда как изменение положения может происходить в самых различных случаях: исправление искажений объектива, смена перспективы или поворот изображения.

Исходное изображение После интерполяции

Даже если изменению размера или развёртки подвергается одно и то же изображение, результаты могут значительно отличаться в зависимости от алгоритма интерполяции. Поскольку любая интерполяция является всего лишь приближением, изображение будет несколько терять в качестве всякий раз, когда подвергается интерполяции. Данная глава призвана обеспечить лучшее понимание того, что оказывает влияние на результат, — и тем самым помочь вам минимизировать любые потери качества изображения, вызванные интерполяцией.

Концепция

Суть интерполяции заключается в использовании имеющихся данных для получения ожидаемых значений в неизвестных точках. Например, если вам захотелось знать, какова была температура в полдень, но измеряли её в 11 и в час, можно предположить её значение, применив линейную интерполяцию:

Если бы у вас имелось дополнительное измерение в половине двенадцатого, вы могли бы заметить, что до полудня температура росла быстрее, и использовать это дополнительное измерение для квадратической интерполяции:

Чем больше измерений температуры вы будете иметь около полудня,тем более комплексным (и ожидаемо более точным) может быть ваш алгоритм интерполяции.

Пример изменения размера изображения

Интерполяция изображений работает в двух измерениях и пытается достичь наилучшего приближения в цвете и яркости пикселя, основываясь на значениях окружающих пикселей. Следующий пример иллюстрирует работу масштабирования:

плоскостная интерполяция
Оригинал	до	после	без интерполяции

В отличие от колебаний температуры воздуха и вышеприведенного идеального градиента, значения пикселей могут меняться намного более резко от точки к точке. Как и в примере с температурой, чем больше вы знаете об окружающих пикселях, тем лучше сработает интерполяция. Вот почему результаты быстро ухудшаются по мере растягивания изображения, а кроме того, интерполяция никогда не сможет добавить изображению детальности, которой в нём нет.

Пример вращения изображения

Интерполяция происходит также каждый раз, когда вы поворачиваете или изменяете перспективу изображения. Предыдущий пример был обманчив, поскольку это частный случай, в котором интерполяторы обычно работают неплохо. Следующий пример показывает, как быстро может быть потеряна детальность изображения:

Деградация изображения
Оригинал	поворот на 45°	поворот на 90° (без потерь)	2 поворота на 45°	6 поворотов на 15°

Поворот на 90° не вносит потерь, поскольку ни один пиксель не требуется поместить на границу между двумя (и как следствие разделить). Заметьте, как большая часть деталей теряется при первом же повороте, и как качество продолжает падать при последующих. Это означает, что следует избегать вращений, насколько возможно; если неровно выставленный кадр требует поворота, не следует вращать его более одного раза.

Вышеприведенные результаты используют так называемый «бикубический» алгоритм и показывают существенное ухудшение качества. Обратите внимание, как снижается общий контраст в связи со снижением интенсивности цвета, как вокруг светло-синего возникают тёмные гало. Результаты могут быть значительно лучше в зависимости от алгоритма интерполяции и изображаемого предмета.

Типы алгоритмов интерполяции

Общепринятые алгоритмы интерполяции можно поделить на две категории: адаптивные и неадаптивные. Адаптивные методы изменяются в зависимости от предмета интерполяции (резкие границы, гладкая текстура), тогда как неадаптивные методы обрабатывают все пиксели одинаково.

Неадаптивные алгоритмы включают: метод ближайшего соседа, билинейный, бикубический, сплайны, функция кардинального синуса (sinc), метод Ла́нцоша и другие. В зависимости от сложности, они используют от 0 до 256 (или более) смежных пикселей для интерполяции. Чем более смежных пикселей они включают, тем более точными могут оказаться, но это достигается за счёт значительного прироста времени обработки. Эти алгоритмы могут использоваться как для развёртки, так и для масштабирования изображения.

Адаптивные алгоритмы включают в себя многие коммерческие алгоритмы в лицензированных программах, таких как Qimage, PhotoZoom Pro, Genuine Fractals и другие. Многие из них применяют различные версии своих алгоритмов (на основе попиксельного анализа), когда обнаруживают наличие границы — с целью минимизировать неприглядные дефекты интерполяции в местах, где они наиболее видны. Эти алгоритмы в первую очередь разработаны для максимизации бездефектной детальности увеличенных изображений, так что некоторые из них для вращения или изменения перспективы изображения непригодны.

Метод ближайшего соседа

Это наиболее базовый из всех алгоритмов интерполяции, который требует наименьшего времени обработки, поскольку учитывает только один пиксель — ближайший к точке интерполяции. В результате каждый пиксель просто становится больше.

Билинейная интерполяция

Билинейная интерполяция рассматривает квадрат 2×2 известных пикселя, окружающих неизвестный. В качестве интерполированного значения используется взвешенное усреднение этих четырёх пикселей. В результате изображения выглядят значительно более гладко, чем результат работы метода ближайшего соседа.

Диаграмма слева относится к случаю, когда все известные пиксели равны, так что интерполированное значение просто является их суммой, поделенной на 4.

Бикубическая интерполяция

Бикубическая интерполяция идёт на один шаг дальше билинейной, рассматривая массив из 4×4 окружающих пикселей — всего 16. Поскольку они находятся на разных расстояниях от неизвестногопикселя, ближайшие пиксели получают при расчёте больший вес. Бикубическая интерполяция производит значительно более резкие изображения, чем предыдущие два метода, и возможно, является оптимальной по соотношению времени обработки и качества на выходе. По этой причине она стала стандартной для многих программ редактирования изображений (включая Adobe Photoshop), драйверов принтеров и встроенной интерполяции камер.

Интерполяция высшего порядка: сплайны и sinc

Есть много других интерполяторов, которые принимают во внимание больше окружающих пикселей и таким образом требуют более интенсивных вычислений. Эти алгоритмы включают в себя сплайны и кардинальный синус (sinc), и они сохраняют большинство информации об изображении после интерполяции. Как следствие, они являются исключительно полезными, когда изображение требует нескольких поворотов или изменений перспективы за отдельные шаги. Однако, для однократных увеличений или поворотов такие алгоритмы высшего порядка дают незначительное визуальное улучшение при существенном увеличении времени обработки. Более того, в некоторых случаях алгоритм кардинального синуса на гладком участке отрабатывает хуже, чем бикубическая интерполяция.

Наблюдаемые дефекты интерполяции

Все неадаптивные интерполяторы пытаются подобрать оптимальный баланс между тремя нежелательными дефектами: граничными гало, размытием и ступенчатостью.

ступенчатость размытие гало

Даже наиболее развитые неадаптивные интерполяторы всегда вынуждены увеличивать или уменьшать один из вышеприведенных дефектов за счёт двух других — как следствие, как минимум один из них будет заметен. Заметьте, насколько граничное гало похоже на дефект, порождаемый повышением резкости с помощью нерезкой маски, и как оно повышает кажущуюся резкость посредством усиления чёткости.

Адаптивные интерполяторы могут создавать или не создавать вышеописанные дефекты, но они тоже могут породить несвойственные исходному изображению текстуры или одиночные пиксели на крупных масштабах:

Оригинал с малоразмерной текстурой	Участок при увеличении 220%

С другой стороны, некоторые «дефекты» адаптивных интерполяторов тоже могут рассматриваться как преимущества. Поскольку глаз ожидает увидеть в областях с мелкой текстурой, таких как листва, детали вплоть до мельчайших подробностей, подобные рисунки могут обмануть глаз на расстоянии (для определённых видов материала).

Сглаживание

Сглаживание или анти-алиасинг является процессом, который пытается минимизировать появление ступенчатых или зубчатых диагональных границ, которые придают тексту или изображениям грубый цифровой вид:

	300%

Сглаживание удаляет эти ступеньки и создаёт впечатление более мягких границ и высокого разрешения. Оно принимает во внимание, насколько идеальная граница перекрывает смежные пиксели. Ступенчатая граница просто округлена вверх или вниз без промежуточного значения, тогда как сглаженная граница выдаёт значение, пропорциональное тому, насколько много от границы попало в каждый пиксель:

Идеальная граница в мелком масштабе	Выберите:	ступенчатая	сглаженная

Важным соображением при увеличении изображений является предотвращение чрезмерной ступенчатости в результате интерполяции. Многие адаптивные интерполяторы определяют наличие границ и корректируются с целью минимизировать ступенчатость, сохранив при этом резкость границы. Поскольку сглаженная граница содержит информацию о своём положении при более высоком разрешении, вполне возможно, мощный адаптивный (определяющий границы) интерполятор сможет хотя бы частично реконструировать границу при увеличении.

Оптический и цифровой зум

Многие компактные цифровые камеры могут осуществлять как оптическое, так и цифровое увеличение (зум). Оптический зум осуществляется движением вариобъектива, так чтобы свет усиливался до попадания на цифровой сенсор. На контрасте, цифровой зум понижает качество, поскольку осуществляет простую интерполяцию изображения — уже после получения его сенсором.

оптический зум (10x)	цифровой зум (10x)

Даже несмотря на то, что фото с использованием цифрового зума содержит то же число пикселей, его детальность отчётливо меньше, чем при использовании оптического зума. Цифровой зум следует практически полностью исключить, за вычетом случаев, когда он помогает отобразить удалённый объект на ЖК-экране вашей камеры. С другой стороны, если вы обычно снимаете в JPEG и хотите впоследствии обрезать и увеличить снимок, цифровой зум имеет преимущество в том, что его интерполяция осуществляется до внесения дефектов компрессии. Если вы обнаруживаете, что цифровой зум вам нужен слишком часто, купите телеконвертор, а ещё лучше объектив с большим фокусным расстоянием.