Фотореализм графики в «The Lego Movie»

Вопрос DLSS5 ИИ и "риализма" в визуале подымает перед нами как художниками вопросы того, а нам и вправду нужен этот кривой AI фейк который даже не сможет правильно настроить реакцию на наличие источника света в кадре, ни правильно отобразить формат материла?
И что по настоящему важно для создания труЪ-фотореализма в графике.

Я нашел что неожиданный ответ на этот вопрос уже был и он был дан в "The Lego Movie". А посему предоставляю вам перевод статьи о создании Визуала в Лего Фильме (и моим замечаниям как художника, потому что схожие элементы можно использовать и в геймдеве) и тому на что обращали внимание создатели что бы по максимум погрузить зрителя в происходящие на экране.

Автор оригинальной статьи Крейг Велш (Craig Welsh). Бывший оператор-постановщик и супервайзер по освещению полнометражных анимационных фильмов, полностью созданных с помощью компьютерной графики. В его портфолио куча крупных фильмов и анимационных сериалов. В 2019м он ушел из медиа- индустрии. Статья была найдена на заброшенном блоге "Expanded Cinematography" где Крейг публиковал свои заметки.

Задание от режиссеров будующего фильма было предельно прямым: "ФОТОРЕАЛИЗМЪ!!!" и от этого слова даже у самого опытного ветерана компьютерной графики (а скорее и особенно у этого типа специалистов) по спине побегут мурашки.

В общем виде оно звучало так:

Думаю, поначалу мы в команде все подумали:

Ответ оказался: Well.....hard.....very hard.

Замечание к переводу: Эта статья начинается с трудно переводимой игры слов. Где слово Твердый и Тяжелый - в английском это синонимы. При этом сам по себе пластик - это довольно "мягкий" материал. Главно не наступайте на деталь лего ночью по пути туалет.

«Это же очевидно задача про пластик — но насколько она может быть твердым?» Что ж ответ был ... твердым... очень твердым.
Давайте оставим в стороне технические аспекты (это тема для отдельной статьи) и рассмотрим проблемы, связанные с визуальной графикой.

С конструктором Lego знаком практически каждый. Мы «знаем», как он выглядит — как он реагирует на разное освещение, как выглядит его несовершенства от долгого использования, и как сквозь него проходит свет. Поэтому создать максимально фотореалистичное изображение модели Lego в компьютерной графике — задача крайне непростая: малейшая ошибка и будет выглядеть неправильно, и почти все заметят ее, даже если не смогут объяснить, что именно не так с изображением. Ведь большинство зритлей фильма играло с лего когда были детьми.

Главные проблеммы перед командой фильма были следующими:

До того как я присоединился к работе над сериалом, художник-постановщик Грант Фрекелтон провел обширное исследование и создал несколько пробных работ, чтобы понять, как будут выглядеть визуальные эффекты. Отправной точкой послужили многочисленные «BRICK FILMS», которые можно найти в интернете..
Но больше всего мне понравились фотографии Веса Лехтимяки (Vesa Lehtimäki), также известного как Avanaut, чьи миниатюрные фотографии, сделанные с помощью конструктора Lego, одновременно драматичны и совершенно очаровательны, как, например, эта:

Грант связался с Веса Лехтимяки, и тот рассказал, что на него повлияла работа Дуглас Трамбулл - а это Легендарный специалист по спецэффектам, работавший над такими фильмами, как «Бегущий по лезвию» и «Близкие контакты третьей степени», среди прочих.

Одним из фирменных приемов Трамбалла в миниатюрной съемке было использование «дымовых камер» — помещений с очень высокой плотностью дыма, в которых снимались миниатюры, чтобы разделить элементы и подчеркнуть масштаб. (На его сайте есть интересное видео, в котором Трамбалл рассказывает о работе над миниатюрами для создания «пейзажа Аида из “Бегущего по лезвию”»).

По словам Avanaut, он назвал свою технику фотосьемки:
«фотографией с принудительной атмосферной перспективой».

Мы с Грантом не были против обильного использования дыма и частиц в сцене, о чем свидетельствует наша работа над "Legend of the Guardians" , поэтому мы решили использовать работу с атмосферой.

Мы также обсудили операторскую работу в игровых фильмах. Например, работа Митчелла Амундсена над «Трансформерами» была особенно показательной в плане баланса источников света в сценах погони на шоссе.

Мы обговори о том, как свет от прожекторов доминировал в сцене и придавал ей драматизма, а также о том, что практичные источники света, такие как уличные фонари и фары, практически не влияли на освещение сцены, но при этом были очень яркими. Практичные источники света также хорошо работают с отражающими поверхностями — мы активно использовали этот эффект в нашей работе над освещением:

Перед началом сьемок мы приступили к фотоисследованию настоящего Lego при разном освещении.
Художественный отдел воссоздавал модели транспортных средств и зданий из реальных Lego, и одним солнечным утром мы вынесли их из студии и выстроили в виде уличных пейзажей, сфотографировав при разной экспозиции и сделав пробные снимки окружающей среды в высоком динамическом диапазоне (HDR) для будущих экспериментов с компьютерной графикой.

Кроме того, у нас было много референсов с фотографиями — от отдельных кирпичиков

...до персонажей...

и декораций, снятых при разном искусственном и естественном освещении...

...включая элементы с подсветкой и видимыми светодиодными источниками света.

Мы тщательно проанализировали все эти визуальные референсы, чтобы понять, что в пластике «работает» с визуальной точки зрения. Это не только помогло нам сформулировать подход к стилям освещения в фильме, но и дало много полезной информации команде Look Development под руководством Жана-Паскаля Ле Блана, которая работала над шейдером материала и особенностями поверхностей Lego.

Как уже упоминалось выше, нам в команде нужно было найти баланс между воссозданием миниатюрного мира и ощущением эпичности происходящего , а также обеспечить интимность в нужные моменты.
Отчасти это было достигнуто за счет малой глубины резкости камеры в сочетании с работой оператора и супервайзера по макету Пабло Плейстеда, который стремился имитировать съемку в масштабе Lego. Пабло довольно подробно рассказывает об этом процессе в этом интервью на fxguidetv, выделяя следующие моменты:

Примичание: Steadicam rigs - система стабилизации камеры

Поппинг - это стиль уличного танца:

Cтиль танца, основанный на сокращении мышц, создающий эффект резкого вздрагивания в теле танцора. Что очень любят использовать для танцев роботов.

Глубина резкости(DOF) была задана уже в на стадии чернового прохода Layout по 3д и мы унаследовали эти настройки DOF через конвейер освещения при рендере, но в конечном итоге резкость была реализована на этапе создания черновой композиции. DOF, заданный этим грубым проходо, рассматривался как "намерение", но иногда мы изменяли его, наблюдая, как это работает или "не" работает с освещением.
Часть поисков "эпичности" иногда требовал углубления DOF
(принимая во внимание, что Layout устанавливал DOF без использования полностью затененных и освещенных рендеров, это были голые 3д модели).
Кроме того, режиссеры иногда просили сделать задний план или декорации более четкими, чтобы подчеркнуть шутку или какую-нибудь забавную второстепенную анимацию, созданную нашей великолепной командой аниматоров.

Парящие пылинки также использовались как отсылка к реальному миру, а также для передачи ощущения масштаба. Иногда в кадре пролетает большой волос или пылинки, которые намного крупнее тех, что можно увидеть в фильмах о людях, попадают в луч света. Как правило, пылинки компонуются таким образом, чтобы их было видно только в лучах света и они не отвлекали внимание (у нас в кажре пару раз было несколько пылевых частиц, которые, казалось, претендовали на «Оскар» и которые нужно было убрать из разных кадров).

Персонажи и предметы были покрыты отпечатками пальцев и имели следы износа, такие как царапины и вмятины, — все это должно было убедить зрителя в том, что перед ним настоящие детали Lego, а не синтетический рендер:

В фильме много сцен, снятых в больших пространствах, где наши стандартные схемы освещения не давали должного эффекта эпичности. В таких случаях мы искусственно регулировали спад(градиентная заливка) освещенности от верхней части пространства к уровню земли,

либо используя данные о глубине для уменьшения экспозиции в зависимости от высоты объектов при композитинге, либо имитируя этот эффект с помощью матовой заливки.

Это также помогало лучше передать динамику в кадрах, снятых сверху вниз: ярко освещенные персонажи на переднем плане или реквизит на более темном фоне.

На уровне земли в этих декорациях мы использовали ту же технику: часто приглушали солнечный свет, падающий на землю, и делали его более тусклым на зданиях или в каньонах, чтобы действие на переднем плане контрастировало с приглушенным светом.

В ходе работы были выработаны следуюшие принци

Это правило призвано максимально подчеркнуть форму персонажей с помощью бокового освещения и использовать свойства пластика Lego, связанные с подповерхностным рассеянием света(SSS), то есть позволить свету рассеиваться сквозь пластик в эстетических целях. Конечно, неизбежно возникают ситуации, когда персонажи освещаются фронтально:

особенно часто это происходит в очень динамичных кадрах или там, где важна непрерывность освещения, но в целом мы бы предпочли красивое освещение строгой непрерывности

— важнее создать и поддерживать настроение, чем следовать букве физического закона.

Этого можно добиться с помощью силуэта (например, на фоне атмосферных эффектов или за счет контраста), цвета или продуманного использования глубины резкости. Иногда мы прибегали к грязному приему, который называется «свет Шетнера»(По имени художника по свнту William Shatner) :

— по аналогии с известным дешевым приемом, когда в старых эпизодах «Звездного пути» на глаза или лицо капитана Кирка падает прямоугольный свет.

Мы всегда использовали этот прием в «Лего» с юмором (хотя в «Легенде о стражах» этот прием использовался с более серьезными намерениями).

В фильме много хаотичных экшн-сцен, и мы стремились сделать так, чтобы важные события были хорошо видны. Для этого мы часто использовали те же приемы, что и для разделения персонажей, о которых говорилось выше, а также направляли взгляд зрителя с помощью световых эффектов, например прожекторов с вертолетов в сцене погони на шоссе.

Это очень важно даже если речь идет о прямолинейных или трапециевидных объектах или персонажах. Это может стать настоящей проблемой (например, персонаж Unikitty, который почти полностью состоит из кубов).

Иногда нам приходилось искусственно усиливать свет, идущий с одного направления, чтобы добиться разнообразия, или контролировать отдельные компоненты одного или нескольких источников света при композитинге, например, чтобы уменьшить отражение от плоской поверхности под определенным углом. В целом доминирующий источник света в кадре должен располагаться так, чтобы создавать интересные формы и тени, не нарушая при этом непрерывность повествования.

Разрешить передержку (overexposure)

Мы использовали переэкспонирование, чтобы создать впечатление, что мы на самом деле делаем не 3д фильм -а используем стопмоушен и экспонируем пленку как в фотографии. Иногда переэкспонирование заметно только по ярким зеркальным бликам, но переодически все равно помогает передать реалистичное отражение яркого света.

Следим за плотностью света
Убедитесь, что в кадре нет полностью черных участков и что у вас достаточно диапазона для цветокоррекции на промежуточном этапе.

Повышенный фотореализм

Мы хотели добиться убедительной имитации фотореализма, но использовали все возможные приемы, чтобы рассматривать это как отправную точку для визуала, а не как жесткое ограничение.
При необходимости мы отходили от строгой физически корректной глубины резкости, использовали специальные источники света, которые воздействовали только на определенные объекты или персонажей, что было невозможно при использовании реального освещения, применяли AOV (произвольные выходные переменные, выводимые в процессе рендеринга), которые позволяли нам управлять источниками света в нашем программном обеспечении для композитинга (или даже отдельными компонентами источников света, такими как диффузное, зеркальное, рассеянное или непрямое освещение) или работать с другими данными, такими как нормали или глубина, например, чтобы уменьшить экспозицию отвлекающих элементов декораций.
Стандартные выходные данные для кадра включали в себя "градуировочные макеты", которые позволяли выполнять целевую градуировку в цифровом промежуточном процессе (digital intermediate). Например, мы могли усилить яркость определенного персонажа в цифровом промежуточном процессе или повысить контрастность лицевых наклеек для большей четкости.

(Исправь и смешай)

Цифровая промежуточная обработка рассматривалась не как процесс балансировки и коррекции, а как неотъемлемая часть процесса создания освещения. Это позволило нам сократить количество итераций при работе с освещением и композитингом (что было крайне важно, так как у нас была довольно небольшая команда), перенеся часть тонкой настройки в digital intermediate-систему, где итерации выполнялись быстрее. Как уже упоминалось выше, использование градиентных материалов позволяло детально контролировать важные элементы кадра в DI-системе.

Одно дело — подсветить экшн в фильме «Лего», и совсем другое — подсветить драму и эмоции.

У наших персонажей трапециевидные тела и цилиндрические головы — плоские поверхности тел неудобно отражают свет на камеру, создавая отвлекающие блики, а головы подсвечиваются без изящества и нюансов.

Отчасти решение заключается в применении принципов, перечисленных выше: доминирующий боковой свет, мягкое освещение лица. Малая глубина резкости помогает создать ощущение близости. Цветовая температура света играет важную роль: более холодные тона указывают на более мрачное эмоциональное состояние. Хорошо работает контраст цветовой температуры фона и переднего плана, например в сцене, где Люси прощается с Эмметом в туннеле перед рискованным этапом их миссии. Подразумевается, что они могут больше не увидеться. Теплый свет, падающий на Люси, подчеркивает ее «человечность», а стальной синий цвет туннеля подчеркивает враждебность окружающей среды:

Наклонный свет или тень также могут подчеркнуть драматизм сцены, как, например, в этом кадре, где косые лучи, вопреки ожиданиям не падающие из окна, направляют взгляд зрителя на Эммета в кадре и усиливают драматизм момента.

Возможность изолировать отдельные источники света, попадающие на персонажей, позволила нам убрать свет, который мешал работе или просто раздражал. Например, мы всегда убирали яркие блики с лиц персонажей, если они накладывались на анимированные наклейки. Мы также могли убрать или уменьшить яркость света, отражающегося от плоскости под определенным углом, чтобы избежать отвлекающих вспышек.

Реальные объективы обладают различными фотографическими особенностями, и мы хотели воспроизвести некоторые из них (сохранив при этом творческий контроль над ними), чтобы избежать «чистого» эффекта, который указывал бы на то, что использовалась компьютерная камера. После выхода трейлера к фильму мы заметили несколько комментариев к ролику, в которых люди авторитетно рассуждали о том, что они «точно знают», какая камера использовалась для «съёмки» «покадровой анимации».
Мы так и задумывали!
Наша Миссия выполнена :)

Ведущий специалист по цветовому конвейеру и композитинг Алекс Фрай создал Комплект LegoLens для использования в нашей программе для композитинга Nuke, где можно было применять и контролировать эффекты линз.

По сути, это Лего Линзы был разработан для точной настройки глубины резкости изображения в зависимости от фокусного расстояния и значений диафрагменного числа, полученных от отдела макетирования. Кроме того, LegoLens включал в себя:

Вспышки также добавлялись к изображениям — иногда с помощью плагинов в Nuke или элементов, созданных в других программах, но чаще всего добавлялись в DI. Вспышки добавлялись либо для большей реалистичности, например, чтобы имитировать то, что происходит, когда в кадре с анаморфотным объективом виден яркий светодиодный источник света

(например, банальные анаморфотные вспышки, за чрезмерное использование которых Дж. Дж. Абрамс даже извинялся в своих фильмах), либо для усиления драматического эффекта, например в сценах с «Wildstyle»/«Люси», где игривое визуальное ощущение нелепости в сочетании с музыкальным мотивом подчеркивало повторяющуюся шутку. Ну и, конечно, когда то они выглядели круто.

Экшн в Фильме Лего задают много хаоса, из которого важно выделить и подчеркнуть главное действие, чтобы зрители не потеряли нить повествования.

Наш подход к решению этой задачи основан на применении наших принципов освещения, главный из которых заключается в том, чтобы отделить действия героя от визуального и кинетического хаоса на заднем плане.

В этом сложном кадре из финальной битвы есть несколько сюжетных моментов, в которых разные персонажи произносят реплики, выполняя при этом разные действия, а общая сюжетная линия заключается в том, что Эммет ведет своего гигантского робота сквозь хаос.

Все это должно быть четко показано на загруженном фоне, где из-за визуального беспорядка и стремительного движения легко потерять нить повествования.

В следующем кадре нам нужно увидеть, в каком затруднительном положении оказалась наша группа героев, а затем понять, что на помощь им спешит Эммет в своем роботе:

Наша группа героев освещена солнцем (которое почти не влияет на задний план, за исключением отраженного света). Фокус сфокусирован на группе, а плотная атмосфера отодвигает на задний план удаленные объекты, чтобы привлечь внимание к переднему плану.

В продолжительной сцене погони, действие которой происходит на Диком Западе, главная драматическая тема заключается в том, что наши герои пытаются добраться до солнца, которое является центром всей сцены. Это дает нам множество возможностей для того, чтобы рассеивать свет по окружающей обстановке, подсвечивать персонажей и использовать теневую сторону таких объектов, как столовые горы, для создания контраста.

Облачная земля Кукулэнд - Это намеренно хаотичная среда, в которой «нет жеских правил», поэтому мы должны были придерживаться этого принципа при разработке светового дизайна, но при этом найти способы привлечь внимание зрителей к тому, что действительно важно.

Следующий кадр — это длинная и сложная сцена, в которой мы показываем окружающую обстановку и безумие всеобщий танцевальной вечеринки:

В Lego Movie были декорации, которые могли потребовать установки тысяч "практичных" источников света, имитирующих размещение светодиодных ламп на локации чрезвычайно терпеливым аниматором в режиме стоп-кадра.

С точки зрения НДА я не могу много сказать о том, как именно мы это сделали, за исключением того, что мы заранее решили, что было бы плохой идеей размещать каждый из этих источников света по отдельности (потому что это заняло бы очень много времени).

Достаточно сказать, что мы разработали систему, которая автоматизировала размещение источников света в определенных частях декораций, в транспортных средствах и других элементах реквизита, а также систему, которая заполняла «светодиодами» облака из спецэффектов внутри отдельных кирпичей или скоплений кирпичей, чтобы, например, подсвечивать взрывы изнутри.

Примечание: Practical lights (практическое освещение) — это источники света, которые физически присутствуют на съёмочной площадке и видны в кадре. Они не скрыты за спиной камерой или вне зоны захвата угла обзора, а являются частью декораций и выполняют функциональную роль — освещают окружение и влияют на атмосферу сцены. (Но иногда светящаяся сторона у них иногда отвернута от зрителя.)

Практичные осветительные приборы также можно использовать, чтобы привлечь внимание к важным сценам. Во время погони на шоссе мы использовали прожекторы «Медного Чоппера», чтобы осветить Эммета и Люси на супербайке, а также подчеркнуть несколько ключевых моментов:

С помощью прожекторов Copper Chopper мы очерчиваем силуэты робо-полицейских, когда они вступают в бой.

Силуэт Люси в практичных огнях «Медного рубщика» готовится к атаке.

Эффективность многих наших кадров во многом зависит от живописи, и я должен отметить выдающийся вклад Дадли Бёрча и его команды талантливых художников в визуальный успех фильма «Лего. Фильм».

Работа над матовой живописью в «Лего. Фильм» была непростой задачей. Помимо «раскрашенных» фонов, приходилось создавать сложные декорации из десятков тысяч кубиков «Лего» с применением целого набора техник, которые зачастую были не менее, а то и более сложными, чем работа над масштабными динамическими сценами с освещением.

Наш ведущий художник Грант Фрекльтон, чей наметанный глаз и визуальное чутье обеспечили успех для команды художников. Они нарисованных в технике mattepainting, и в отличие от многих руководителей в других студий Грант часто брал перо и самолично рисовал такие элементы.

Одной из самых сложных задач при создании этих кадров была интеграция и совмешение элементов, нарисованных в технике mattepainting, с элементами, созданными в рендере, но наши опытные композиторы и осветители блестяще справились с этой задачей.

К сожалению, из-за юридических ограничений я не могу показать элементы с матовой заливкой или незавершенные работы, но вот несколько кадров, на которых почти все нарисовано а не зарендеренно:

Примечание. Техника Мэттпейнт в кино и сериалах. Это технология создания фантастических фонов которые рисовались "ручками". Ее рисовали на "стекле" и ставили перед камерой с вырезом под участок с декорациями где зритель видел актеров.

Собственно суть Мэттпейнта: Это возможность получить дешевый (ведь художники дешевы) уникальный визуал - вместо создания полноразмерных декораций.

Вот пара примеров из сайфая 80х:

Вот картина отдельно.

А вот картина стоящая перед камерой и где видны актеры на фоне небольших декораций:

Вот аналогичный пример из Звездных Войн:

Иногда мэттпейнтом делали панорамы которые прокручивали перед камерой.

Часто один и тот же задник могли использовать кучу раз в разных сериях, для удешевления производства.

Cегодня слово "мэттпейнт" многие ее ассоциируют с "фотобашем" но это не корректно, традиционно под мэттпейнтом понималась 100% ручная работа художника, что можно увидеть например на производственных фото из тех же Звездных Войн.

Хотя конечно в большинстве современно кино уже никто не будет рисовать акриловыми красками уникальные фоны... собственно уже в 1990х произошел переход к использованию цифровых коллажей:

А готовые мэттпейнты пересобирались копировались и распечатывались и собирались из реальных фотографий.

Увы..

Собственно как я сказал в начале - вопрос как "добиться фотореализма" кроется в тщательном изучении материала и понимания доступных ограничений технологий.

Реализм это не возможность из посредственной модели Старфилда сделать жертву инстаграмма.

А полное понимание как как и какими средствами нужно показывать "вымышленный мир". Понимание как работают механизмы света и как их использовать в своей работе для получения художественного результата:

Банальный след жирового отпечатка пальца на шлеме Бетмена уже создает иллюзию что это "настоящая" игрушка - а не симуляция в 3д.

Повреждения и несовершенства создают иллюзию реальности, а не слой цифровой штукатурки для маскировки недостатков. Повреждения поверхностей и следы износа - вот что добавляет погружения.

Именно понимание таких деталей ведет к любви зрителей. А не волшебная шайтан black box которая не понятно как работает.

#visdev #cinema #visual #vfx #artdirection #lego #film