Видео с высокой частотой кадров

Развитие кинематографа, благодаря появлению новых технологий, дало нам новые возможности для реализации наших идей. Эта статья посвящена одной из сторон «нового поколения кино» — влиянию высокой частоты кадров(HFR — high frame rate) с ее мотивацией и противоречивостью, на глаз зрителя, а так же тому, что нас ждет в будущем.

Немного истории

Что такое частота кадров? Ка́дровая частота́ (fps-frames per second)— количество сменяемых кадров за единицу времени в телевидении и кинематографе.

Хотя современное кино и использует 24 кадра в секунду, ранние фильмы производили с довольно разнообразной частотой кадров. В 1930х многие немые фильмы выпускались с частотой 15-20fps, и с этого самого момента развитие иллюзии движущихся картинок и началось. Затем, с развитием звука, частота кадров увеличилась до стандарта в 24 кадра, из-за того что это было минимальным количеством кадров, которое требовалось для нормального воспроизведения звука с 35 мм кинопленки. Пример 5fps. То же видео, но 15fps.

В любом случае, общей стратегией было использовать минимальное количество кадров. И не появлялось никаких идей вроде: «Давайте сделаем фильм более реалистичным!» — материал просто должен был быть приемлимого качества и цены. Однако, с появлением цифрового видео, мы больше не загнаны в рамки «старых правил». Новые фильмы начинают использовать высокую частоту кадров(HFR). Уже сейчас HFR используется в трансляции спортивных программ и в кино — Аватар 2 будет, а Хоббит уже использует.

Частоты киносъёмки и кинопроекции

• 16 — стандартная частота съёмки и проекции немого кинематографа;
• 18 — стандартная частота съёмки и проекции любительского формата «8 Супер»;
• 23,976 — частота телекинопроекции в американском стандарте разложения 525/60, применяемая для интерполяции без потерь;
• 24 — общемировой стандарт частоты киносъёмки и проекции;
• 25 — частота киносъёмки, применяемая при производстве телефильмов и телерепортажей для перевода в европейский стандарт разложения 625/50;
• 29,97 — точная кадровая частота цветного телевизионного стандарта NTSC;
• 30 — частота киносъёмки раннего варианта широкоформатной киносистемы «Tодд-AO»;
• 48 — частота съёмки и проекции по системе IMAX HD;
• 50 — частота полукадров европейского стандарта разложения. Используется в электронных камерах для ТВЧ;
• 59,94 — точная полукадровая частота цветного телевизионного стандарта NTSC;
• 60 — частота киносъёмки в американском стандарте ТВЧ и системе «Шоускан» (англ. Showscan).

Для чего все это?

Даже если 15 кадров в секунду и достаточно для создания иллюзии движения, то для создания «эффекта погружения» нужно больше кадров. Визуальные исследования показали, что даже если нельзя различить отдельных изображений, частота кадров порядка 60-80 делает видео более реалистичным, усиливая четкость и увеличивая плавность движений.
HFR уменьшает количество визуальных артефактов движения — особенно это заметно при просмотре в кино. Движущиеся объекты могут иметь, например, стробоскопический эффект.

Стробоскопический эффект (греч. strobos кружение, вихрь + skopeo рассматривать, наблюдать) — возникновение зрительной иллюзии неподвижности или мнимого движения предмета при его прерывистом (с определенной периодичностью) визуальном наблюдении.

Прерывистость в визуальном наблюдении может быть вызвана мерцанием лампы, как вариант. Эффект даже может быть опасен т.к. движущийся предмет может казаться обездвиженным или двигаться в другую сторону.

Если частота кадров в фильме слишком низкая, то будет казаться что фильм дергается(стробоскопический эффект). Говорят, что человеческий глаз не может различить 30 и 60 кадров в секунду. И они, в общем-то, правы — глаз не может, а вот мозг может! Можете взглянуть на еще один отличный пример разницы в частоте кадров здесь. Анимация при 15 кадрах в секунду достаточно дерганная, при 30 выглядит довольно хорошо, а вот при 60 вообще великолепна.
Motion blur — это естественный эффект, получаемый при съемке окружающего мира через равные отрезки времени(т.е. стандартная видеосъемка). Когда фильм записан при 25 кадрах в секунду, то выдержка у каждого снимка около 40 миллисекунд т.е. 1/25ая секунды). Все изменения произошедшие перед камерой за эти 40 миллисекунд в конечном счете окажутся в кадре. Без motion blur, анимация не была бы такой плавной, казалось бы, что изображение «прыгает».
По этой ссылке вы можете перейти на сайте, где симулируется различная частота кадров и получаемое при этом изображение.
Кроме того, не для кого не секрет, что из HFR видео можно вытащить более четкие кадры. В будущем это может оказаться полезным, скажем, для фэшн показа, где из видеоряда просто будут извлекаться необходимые фото для журналов или рекламы. Если же нет необходимости в HFR, то при съемке в 48fps, и последующей обработке с пропуском кадров, можно легко получить 24fps.

10 fps

24 fps

60 fps

Еще HFR может сделать просмотр видео более комфортным, благодаря уменьшению напряжения и усталости глаз. Т.к. система визуального восприятия человека устроена так, что безостановочно анализирует получаемую информацию, то прерывистое видео при длительном просмотре может быть очень утомительным — так же как глаза утомляются при мерцании ЭЛТ мониторов или флюрорисцентных ламп. С эффектом 3D в особенности, просмотр сопровождается утомлением глаз и является одной из главных причин, почему многие не
снимают фильмы в 3D.
Теоретически, проекторы станут ярче с использованием HFR. При 24fps, обычно проекторы показывают каждый кадр 2-3 раза при общей частоте обновления 48-72 Hz. Однако, если вспышки слишком яркие, то будет казаться, что каждый кадр мерцает. С HFR, кадр мерцает меньшее количество раз — предотвращая более яркое отображение, которое вызывает мерцание. Это особенно актуально для 3D т.к. традиционная техника проектирования изображения
достаточно тусклая.

Яркость при 2D

Яркость при 3D

Во время продолжительного экшна на экране, наша система визуального восприятия часто находится в возбужденном состоянии, что в свою очередь, притупляет чувство времени и повышает восприимчивость к визуальной информации. Гонки на машинах, сцены боя, съемка от первого лица и с воздуха особенно важны. HFR наделяет такие типы сцен четкостью, плавностью т.е. тем, что невозможно достигнуть при обычной съемке:
24 fps
60 fps

Обратите внимание, пример с HFR — видео более плавное, особенно когда мотоцикл в воздухе. Такие улучшения часто намного лучше смотрятся на большом экране. Восприятие еще зависит и от самого содержания сцены. Так, в сценах ниже разница четче выражена из-за типа съемки и количества моушн блера.

По-просту, экшн, сцены от первого лица и другие динамические кадры только выигрывают от HFR.

Другие стороны HFR

Но несмотря на обилие плюсов, HFR вызывает противоречия. За последние 80 лет, зрители привыкли к 24 fps и для них традиционное кино выглядит именно так. Обычно такие фильмы сопровождает более выраженный моушн блер и сниженный темп, вместе с определенными техниками съемки для избежания появления артефактов движения. Многие, однако, начали использовать понятие «супер реалистичный» для HFR съемки. И это понятно, ведь HFR и была так задумана, чтобы быть отличной от стандартной съемки.
Однако, некоторые противоречия были вызваны ложными исследованиями, основанными на технологиях не являющихся действительным HFR. Например, современное телевидение часто старается симулировать HFR, добавляя дополнительные кадры(интерполяция) между реально существующими. Здесь обычное видео, снятое при 24fps. А здесь видео с интерполяцией.

В отличие от HFR, в подходе с интерполяцией отсутствует моушн блер и изображение может иногда быть смазанным т.е. аналогично видео, когда используют угол затвора в 360 градусов или видео на экране ранних LCD экранов с эффектом шлейфа. Более того, HFR не так важен для домашнего телевизора как для кинотеатра с большим экраном.
На ранних стадиях, технология HFR так же столкнулась с сопротивлением по разным причинам. Изначально цена была слишком завышена, не было так много камер и проекторов(для многих достаточно просто обновить прошивку) поддерживающих эту технологию. Сейчас одним из сдерживающих факторов может являться время для рендеринга (которое иногда может быть в 2 раза больше положенного), но и этот минус вскоре уйдет с появлением более мощных компьютеров.

Выводы

Когда впервые появились компакт диски, многие критиковали их за то, что музыка стала слишком чистой и отсутствовал характерный звук виниловой пластики. Это очнеь похоже на ситуацию с HFR. Проще говоря, низкой частоте кадров всегда найдется применение, но использование HFR предпочтительней т.к. всегда можно вернуться к более низкой частоте. Однако, как уже говорилось выше не везде необходимо использование HFR, так что со временем, технология может просто стать инструментом подобно тому, как сейчас используют угол затвора.
Огромный шаг был сделан и в отношении разрешения — с развитием 4к кино — что тоже заслуживает детального рассмотрения и исследования. Но в конечном счете, наши глаза получают изображение окружающей среды с бесконечным количеством кадров, бесконечным разрешением, в 3D; наш мозг обрабатывает получаемую информацию и превращает либо в видео, либо в отдельные кадры. Более высокая частота, 4к+ разрешение все больше и больше приближают нас к отражению реальности в кино.

Недавно вышел фильм Питера Джэксона «Хоббит», снятый при 48 кадрах в секунду(что в 2 раза больше стандарта киношной съемки в 24). Питер тогда сказал:

«Многие кинокритики холодно отнесутся к отсутствию размытие при движении и стробоскопическим артефактам, но вся наша съемочная команда-многие из которых являются экспертами в кино –после выхода фильма поддерживают меня. К новой частоте кадров быстро привыкаешь и начинаешь воспринимать более естественно. Это похоже на то время, когда CD-диски вытеснили виниловые пластинки. Я считаю что то же самое будет в кино и мы очень быстро приближаемся к тому моменту, когда фильмы с высокой частотой кадров будут выпускаться массово.»

Но есть и другой взгляд на эту ситуацию. Например, Найм Сезерлэнд(Naim Sutherland) так относится к высокой частоте кадров:

«Цель кинематографа не в том, чтобы зеркально отразить нашу реальность или детально показать ее. Я, например, хочу создать небольшую физическую связь между вами и моими фильмами. Я хочу погрузить зрителя в мир самой истории, чтобы он поверил в нее и забыл о себе, своей жизни и был только с фильмом наедине.
Не показывая достаточно информации визуально, мы заставляем мозг работать и самому заполнять пробелы информации… что еще больше погружает зрителя в фильм. И это является частью того, когда зритель смеется, плачет, или пугается.»

Кадровая частота, частота кадросмен (англ. Frames per Second (FPS), Frame rate, Frame frequency) — количество сменяемых кадров за единицу времени в компьютерных играх, телевидении и кинематографе. Понятие впервые использовано фотографом Эдвардом Майбриджем, осуществлявшим эксперименты по хронофотографической съёмке движущихся объектов несколькими фотоаппаратами последовательно. Общепринятая единица измерения — кадры в секунду.

Кадровая развёртка — вертикальная составляющая телевизионной развёртки, применяющейся для разложения изображения на элементы и его последующего воспроизведения. Развёртка может быть механической или электронной. В более узком смысле кадровая развёртка — часть электронной схемы передающей камеры, телевизионного приёмника или монитора компьютера, осуществляющая разложение изображения или его воспроизведение в вертикальном направлении. Чаще всего это понятие употребляется применительно к устройствам, использующим электронно-лучевую трубку для формирования последовательности кадров телевизионного изображения с заданной частотой. Однако, понятие кадровой развёртки применимо и к устройствам с полупроводниковыми матрицами и экранами. Выражается в Герцах (Гц, Hz).

Никогда не путайте два этих понятия т.к. это немного разные вещи. Чтобы вы еще чётче смогли понять разницу – вот упрощение: Вы сможете посмотреть видеофайл с частотой кадров 60fps и на экране с развёрткой 50Гц.

Чтобы глубже понять в чём различия Кадровой частоты и Кадровой развёртки окунёмся в историю.
Давным-давно, когда телевидение было аналоговым, а экраны телевизора небольшими сигнал изображения передавался по воздуху или проводам. И был придуман эффективный и простой способ уменьшить затраты на его передачу.

Чересстрочная развёртка — метод телевизионной развёртки, при котором каждый кадр разбивается на два полукадра (или поля), составленные из строк, выбранных через одну. В первом поле развёртываются и воспроизводятся нечётные строки, во втором — чётные строки, располагающиеся в промежутках между строками первого поля.

Поэтому Кадровая развертка (или, что более точнее отражает суть “частота мерцания экрана”) это сколько таких кадров или полукадров ваш экран может отобразить за секунду. Но это было давно и актуально уже только для устаревших типов экранов ЭЛТ и с некоторым натяжением для плазменных экранов.

В современном мире господствуют жидкокристаллические экраны, поэтому они наиболее близко подошли к частоте смены кадров: частота обновления ЖК экрана это частота с которой на матрицу монитора подаются сигналы об изменении цвета пикселей. Если опять же упрощать: видеофайл с частотой кадров 60fps на экране 50 Гц будет показан с потерями.

Или обратный пример: современные видеокарты способны выдавать картинку до 400 Гц. Представьте: вы купили ПК вот с такой картой. А монитор у вас выдает максимум 75Гц. Получается Ваш монитор передаёт вам далеко не всё что на него передаёт видеокарта.

Даже если 15 кадров в секунду и достаточно для создания иллюзии движения, то для создания «эффекта погружения» нужно больше кадров. Визуальные исследования показали, что даже если нельзя различить отдельных изображений, частота кадров порядка 60-80 делает видео более реалистичным, усиливая четкость и увеличивая плавность движений.
более высокая частота кадров уменьшает количество визуальных артефактов движения — особенно это заметно при просмотре в кино. Движущиеся объекты могут иметь, например, стробоскопический эффект.

Частоты киносъёмки и кинопроекции

• 16 — стандартная частота съёмки и проекции немого кинематографа;
• 18 — стандартная частота съёмки и проекции любительского формата «8 Супер»;
• 23,976 — частота телекинопроекции в американском стандарте разложения 525/60, применяемая для интерполяции без потерь;
• 24 — общемировой стандарт частоты киносъёмки и проекции;
• 25 — частота киносъёмки, применяемая при производстве телефильмов и телерепортажей для перевода в европейский стандарт разложения 625/50;
• 29,97 — точная кадровая частота цветного телевизионного стандарта NTSC;
• 30 — частота киносъёмки раннего варианта широкоформатной киносистемы «Tодд-AO»;
• 48 — частота съёмки и проекции по системе IMAX HD;
• 50 — частота полукадров европейского стандарта разложения. Используется в электронных камерах для ТВЧ;
• 59,94 — точная полукадровая частота цветного телевизионного стандарта NTSC;
• 60 — частота киносъёмки в американском стандарте ТВЧ и системе «Шоускан» (англ. Showscan).

Даже Apple представила мобильные устройства с дисплеями в 120Гц – то наверное не стоит брать телевизор на 50-60Гц когда рядом стоит на 100Гц.

1. Развертка обеспечивает плавное изображение, четкую раскадровку движущихся объектов.
2. Разрешение обеспечивает реалистичную прорисовку каждого кадра, когда можно рассмотреть все детали, точно передается цвет, движение воды или людей.
3. Выбирая, какая модель экрана лучше, стоит анализировать все ключевые характеристики в совокупности, чтобы и разрешение экрана, и частота обновления кадров были на уровне.

Влияние частоты на зрение.

В ЖК мониторах, свет возникает в лампах подсветки, которые в любом случае имеют частоту выше 150 Гц. Для LCD мониторов хоть и указывается частота обновления, она означает скорость смены картинки самой TFT матрицы.
ЖК мониторы с LED подсветкой, в частности дешёвые, для регуляции яркости используют — изменение частоты мерцания диодов посредством ШИМ, что иногда приводит к видимому морганию. Это вызывает дополнительную усталость для глаз. Тут 2 варианта – либо увеличивать яркость в большую сторону, нагружая глаза, либо уменьшать, тоже нагружая глаза морганием. Лучше выбрать золотую середину — максимальное, комфортное значение яркости.

Для активных затворных 3D очков и некоторых пассивных, используются ЖК матрицы с частотой обновления

120Гц, по 60Гц для каждого глаза. Данные мониторы/TV можно использовать на частоте 120 Гц и без очков, что идеально подойдёт игровым энтузиастам, так как количество реальных кадров в секунду будет в два раза выше стандартных 60 к/c. Также в них используются специальные лампы или диоды с повышенной частотой работы, что значительно меньше нагружает глаза. Встретить мерцание на данных мониторах — практически невозможно, но и запас яркости ламп подсветки они имеют значительный.

Популярные видеохостинги, в том числе YouTube, вводят поддержку потокового воспроизведения видео высокого качества на скорости 60fps. Поэтому убедиться в преимуществах такого типа видео вы можете прямо сейчас: