Никто не понял DLSS 5
Как нейронный рендеринг от NVIDIA снова сделает «консольную» графику неконкурентноспособной.
Про нейронный рендеринг будущего Nvidia делала громкие заявления еще в начале прошлого года. Больше всего общественности тогда запомнилась демонстрация специальных высокодетализированных масок, улучшающих отрисовку лиц персонажей. Она выглядела странновато и чем-то напоминала бьюти-фильтры из соцсетей — ролик с демонстрацией набрал тысячи дизлайков. В марте этого года возникла похожая ситуация. Nvidia решила показать работу нейронного рендеринга в составе грядущего пакета технологий DLSS 5 — и снова получила гору дизлайков.
Хотя реакция сообщества геймеров на анонс оказалась больше негативной, в то же время многие разработчики отметили интересные возможности для упрощения работы с фотореалистичной графикой. Похоже, что для достижения более качественного результата теперь нужно будет прилагать в разы меньше усилий, как это было недавно с внедрением трассировки лучей. Главное — правильно перестроить пайплайны, встроив новый шейдерный инжектор от Nvidia.
А потом оказалось, что это не совсем инжектор… В общем, давайте разбираться.
Все слишком зациклились на лицах
Как уже было отмечено во вступлении, больше всего критики получили лица. Они и правда выглядят странновато, а в сочетании с примитивной анимацией из игр с бюджетами поскромнее и вовсе вызывают эффект «Зловещей долины». И в Nvidia явно зря сделали основной акцент на преображении персонажей. Из-за этого большинство просто не заметило насколько, например, лучше с DLSS 5 выглядят материалы и освещение:
И даже с лицами были удачные примеры. Посмотрите, хотя бы, насколько натуральнее выглядит кадр с Леоном из Resident Evil Requiem:
В Nvidia обещают, что у разработчиков будет полная свобода по настройке и интеграции технологии. Те же лица можно будет полностью исключить для обработки или скорректировать доработку детализации, чтобы стилизованная игра не превратилась в гиперреалистичную.
К слову о стилизации, вторая промашка Nvidia — подбор игр. Если Resident Evil Requiem хотя бы изначально стремится к гипертрофированному фотореализму с его маниакальным вниманием к мелким деталям и натуралистичностью, то зачем фотореалистичной пытались сделать откровенно сказочную Hogwarts Legacy понять сложно:
Однако, опять же, если отвлечься от лиц и посмотреть на материалы и освещение, то хорошо заметно, что после обработки они выглядят просто потрясающе.
Что говорят разработчики
С реакцией сообщества и тем, чему уделили слишком мало внимания, мы разобрались. Теперь давайте посмотрим, что думают о DLSS 5 профессионалы, для которых это и было задумано — разработчики игр. С анонса прошло уже около трех недель и мнений накопилось достаточно.
Что интересно, от инди-разработчиков и сотрудников небольших студий впечатления в основном негативные:
Представлять, что эта технология станет стандартом по умолчанию, — это оскорбительно и пугающе, и моя первая реакция — «Слава богу, я делаю 2D-игры».
Помимо очевидных эстетических проблем, самая главная — как DLSS 5 лишает индивидуальности любые художественные решения разработчиков, вместо этого навязывая свое видение.
Создается впечатление, что DLSS 5 отнимает у художников часть авторского замысла, делая персонажей более гламурными, а окружение — более детализированным. В результате чего картинка кажется менее выразительной и не такой целостной.
В то же время, многие отзывы из крупных студий менее категоричные, иногда даже положительные:
Графические технологии на базе нейросетей улучшаются с каждым поколением. Они не идеальны, но являются мощным инструментом, если понимать их ограничения.
Когда нам показали DLSS 5, и мы запустили его в Starfield, было удивительно, как он оживил игру.
Можно предположить, что для внешнего наблюдателя технология выглядит хуже, чем на самом деле. И здесь создатели игр с бюджетной графикой не слишком отличаются от простых обывателей. Поэтому их мнение, будем честны, менее ценно.
Именно поэтому реакция индустрии оказалась такой неоднозначной. Крупные разработчики видят хороший потенциал, если использовать новый инструмент разумно, а простые геймеры из-за неудачной демонстрации воспринимают DLSS 5 как попытку навязать избыточный фотореализм.
Далее попробуем сделать прогноз по индустрии, если DLSS 5 станет стандартом.
Полноценная реализация еще не готова
На момент мартовской демонстрации DLSS 5 фактически работал как фильтр поверх уже готового кадра. Nvidia не подтверждала это официально, но почему тогда у персонажа из Starfield пропала тень под козырьком, а под арками на кадрах из Oblivion Remastered появлялись чрезмерно затемнённые области? Такой эффект невозможен для полноценного инжектора, который получает доступ к промежуточным данным рендера и работает в связке с движком. Но он абсолютно типичен для фильтра, который анализирует лишь финальный кадр и пытается реконструировать детали без данных о всей сцене.
Возможно, по задумке DLSS 5 действительно должен стать инжектором, встроенным в пайплайн. Но на момент анонса технология, видимо, ещё не работала в том виде, в каком её планируют поставлять разработчикам. Модель уже умеет улучшать материалы, добавлять микродетали и обрабатывать освещение, но не имеет доступа к данным, которые позволили бы делать это физически корректно.
К осени в Nvidia теоретически ещё могут доработать нейронный рендеринг в составе DLSS 5. Для этого потребуется интеграция с движками, доступ к буферам глубины, нормалей, движению объектов, маскам материалов и другим служебным данным. Только в этом случае технология перестанет «угадывать» структуру сцены и начнёт работать предсказуемо. Но пока неясно, успеют ли.
Возможно, консоли снова будут отставать от ПК по графике
Многие уже забыли, но в первой половине нулевых годов графика на ПК была заметно лучше, чем на консолях. Тогда это объяснялось банально — видеокарты обновлялись почти каждый год, а приставки жили по 6–7 лет. Домашние компьютеры тогда сильно вырвались вперёд благодаря программируемым шейдерам, а консоли долго не могли предложить ничего сопоставимого. Но сейчас ситуация может повториться по куда более жёсткому сценарию, потому что речь идёт не о росте «сырых» терафлопс, а о технологиях, которые формируют саму картинку.
DLSS 5 усиливает материалы, корректирует освещение, восстанавливает микродетали и фактически дорисовывает значительную часть кадра. На ПК эта технология будет развиваться ежегодно: новые поколения тензорных ядер, новые модели, новые методы реконструкции. Консоли же снова получат фиксированную аппаратную реализацию, которая устареет уже через пару лет после выхода. И если в эпоху первых версий DLSS это ещё не было критично, то с 5-й итерацией разрыв станет принципиальным — нейросеть будет отвечать за качество изображения сильнее, чем само «железо».
В результате графика на игровых приставках рискует снова выглядеть примитивной по сравнению с ПК. Не потому что консольные разработчики будут делать хуже, а потому что у них не будет доступа к тем же инструментам.
DLSS 5 оказался технологией, которую неправильно поняли почти все. Геймеры увидели фильтр, который делает лица странными. Инди‑разработчики — угрозу художественной индивидуальности. ААА‑студии — инструмент, который может упростить производство и повысить качество. Но нужно понимать, что Nvidia показала не финальный продукт, а этап, который ещё предстоит довести до рабочего состояния.
Если компания успеет превратить DLSS 5 в настоящую стадию рендера, то индустрия получит инструмент, который радикально удешевит фотореализм и изменит сам подход к созданию графики. Если нет — технология останется фильтром, который будет полезен, но не станет стандартом. Однако в обоих сценариях последствия для рынка будут ощутимыми. ПК снова получит преимущество, которое консоли не смогут компенсировать, а визуальный разрыв между платформами станет заметнее, чем в последние 20 лет.
Вопрос лишь в том, насколько быстро Nvidia сможет довести технологию до состояния, в котором она перестанет быть экспериментом и сможет стать обязательной частью современного пайплайна.