Davinci Resolve 21 Beta. Тестируем оффлайн нейронки.

🔍AI IntelliSearch
(Поиск по содержимому медиапула)

Наверное, единственная функция из этого обновления, которая одинаково полезна абсолютно всем — и тем, кто делает Motion Design, и тем, кто монтирует свадьбы, и тем, кто нарезает нарезки с геймплеем.
Суть простая: нейронка анализирует всё содержимое ваших клипов и позволяет искать объекты прямо в поисковой строке. Написал «меч» — нашло футажи с мечом. Звучит банально, но дьявол в деталях.

Все блогеры, которые тестировали это, сразу кинулись искать уточек, котиков и слоников. Ну нашли, ну молодцы. Меня интересовало другое: как оно справляется с профессиональными задачами, то есть с поиском конкретных объектов в реальных рабочих футажах. И вот тут начинается самое интересное. Я закинул видео с саблями и написал «меч» — и оно нашло, хотя в этих клипах нет ни одного кадра, где меч виден целиком. Нейронка сложила картину из нескольких фреймов, где оружие видно наполовину, держится в руках, частично скрыто телом — и всё равно идентифицировала объект. Это уже не просто «поиск по тегу», это реальное понимание сцены.

Ещё более показательный момент — с зомби.

Я закинул стоковый футаж с зомбаком и написал «zombie». Нашло без проблем. Это значит, что внутри категории «человек» у нейронки есть подкатегории: мертвец, монстр, зомби и так далее. Это уровень понимания контекста, которого я честно не ожидал от первой беты.

Слабое место пока одно — геометрия. Квадрат и пирамиду по отдельности не нашёл, но нашёл оба сразу под запросом «rectangle», потому что у обоих острые края. Это уже задел, и я уверен, что в следующих обновлениях этот момент подтянут.

Ещё важный нюанс: пока только английский язык. Но это не трагедия — составить таблицу соответствия терминов несложно, и разработчики наверняка это сделают достаточно быстро.

Впечатляет уже сейчас
🎤AI Speech Generator
(Генератор голоса из текста)
Чекайте примеры в видео, они шикарны

Первая реакция у большинства предсказуемая: зачем нам сырая нейронка в Resolve, если снаружи полно специализированных сервисов с куда более гибкими настройками и качеством? Вопрос справедливый. Но есть два аргумента, которые меняют картину. Первый — это оффлайн-инструмент, который работает исключительно на мощности вашего компьютера. Никаких облаков, никаких подписок, никакой отправки голоса на чужие серверы. Второй аргумент стал для меня сюрпризом: она неожиданно хорошо передаёт характер голоса.

Я специально выбрал три случая, которые можно считать стресс-тестом на характерность. Первый — HK-47 из Star Wars: Knights of the Old Republic, это робот с очень специфичной, ироничной и колкой речью. Второй — Альберт Вескер из серии Resident Evil, голос с тяжёлым, угрожающим тембром. Третий — Cole Train из Gears of War, такой орущий афроамериканец с безумно характерной подачей можно даже сказать визжащей (всегда поднимал настроение). Три абсолютно разных типажа, каждый из которых сложно перепутать с кем-то другим.

Результат: характер голоса передаётся. Да, есть шумы, особенно там, где исходник был записан с музыкой и эмбиентом на фоне — нейронка это всё подхватывает. Но интонации, манера речи, общий типаж — считываются. Это принципиально отличается от того, что было в 20-й версии, где можно было перенести тон голоса на другой аудио, но характерность при этом полностью терялась.

Русский язык пока не поддерживается (ну или поддерживается, но читается транслитом на английский манер). Судя по политике Blackmagic, сначала возьмутся за испанский, потом по популярности пойдут дальше. Русский не в первом приоритете, но думаю, до него доберутся довольно быстро — язык слишком распространён, чтобы его игнорировать.

🔁AI Face Age Transformer + AI Face Reshaper

(Изменение возраста и черт лица на видео)

Два инструмента, но по смыслу они идут в связке, поэтому разберём вместе. Face Age Transformer — это, буквально, ползунок возраста. Нейронка анализирует лицо, находит места, где уже есть складки и морщины, сопоставляет с базой знаний о том, где они в принципе бывают у людей, и либо усиливает их (состаривание), либо разглаживает (омоложение). Состаривание работает заметно лучше — морщины углубляются органично. С омоложением чуть хуже: кожа выравнивается, блюрится, и иногда это выглядит немного пластиково. Но для большинства задач — нормально.

Face Reshaper — это, на мой взгляд, главное нововведение для широкой аудитории. Именно эта штука раньше требовала либо серьёзной CGI-работы, либо вообще была недоступна в реальном времени. Сужение лица, изменение формы глаз, коррекция подбородка, ширина рта, размер губ — всё это ползунками, прямо на движущемся видео, с автоматическим трекингом лица. Теперь это может сделать любой человек, который открыл программу впервые.

Я тестировал на себе и на стоковой фотографии девушки. На себе — потому что у меня есть на чём тестировать. На девушке — чтобы проверить нейтральный случай. Результат в обоих случаях: работает здорово, артефактов практически нет, маска держится уверенно. Слабые стороны пока две: при резком повороте головы маска иногда слетает, и при закрывании лица рукой трекинг теряется — это логично и вряд ли будет полностью исправлено, просто физика задачи такая.

Единственный момент, который пока выдаёт нейронку — это моргание и активная мимика. Что-то в районе глаз при этих движениях иногда создаёт лёгкий эффект зловещей долины. Не всегда, но бывает. Я ещё не разобрался, в чём именно проблема — скорее всего, это вопрос следующих обновлений. Но уже сейчас инструмент полностью готов к работе, и его можно использовать на реальных проектах.

Отдельный лайфхак, который уже открыли молодые коллеги: можно прогнать один и тот же кадр через Face Reshaper несколько раз подряд, накапливая изменения — и таким образом обойти ограничения ползунков. Рендерится это моментально, так что не жалко. Получается что-то в духе редактора персонажа из старых RPG — можно делать совершенно безумные морды.

✏AI Blemish Removal
(Автоматическое удаление дефектов кожи)

Выделяю этот инструмент отдельно, потому что у него есть прямые профессиональные последствия, о которых стоит говорить честно. Раньше удаление прыщей, угрей и других дефектов кожи на видео было отдельной, длительной и хорошо оплачиваемой работой. Нужно было вручную закрашивать каждый кадр, трекать маски, следить за освещением — по сложности это вполне самостоятельная задача. Теперь: накидываешь эффект в Color, нажимаешь кнопку — и готово. Никаких настроек, нейронка всё делает сама.

До:

После:

Нейронка при этом достаточно умная, чтобы отличать родинки от прыщей — это важно, потому что родинки убирать не нужно. При хорошем освещении она справляется с этим вполне уверенно. При плохом освещении могут быть казусы: я снял себя на iPhone при одной лампочке, и нейронка приняла тени от ноздрей за артефакты и попыталась их «исправить». Но это легко решается: можно нарисовать маску вручную и ограничить зону работы инструмента только нужной областью, а маску потом оттрекать.

Функция доступна в платной версии Resolve Studio. Для тех, кто занимается съёмкой свадеб, портретных видео, бьюти-контента — это означает, что планка качества для всей индустрии одномоментно поднялась, потому что теперь это может делать любой. Конкуренция становится жёстче, а некоторые позиции в типовом прайс-листе ретушёра становятся сложнее обосновать. Буквально убивает целую нишу челов, которые красили фейсы на свадьбах и мероприятиях.
🎬AI Slate ID
(Автоматическое считывание хлопушки)

Хлопушка — вещь, знакомая всем, кто работает на съёмках. Это не просто ритуал из кино: она позволяет зафиксировать дубль, сцену, дату, имена режиссёра и оператора прямо в кадре, чтобы потом на монтаже не путаться в материале. Раньше эти данные нужно было вносить вручную или проговаривать голосом. Идея AI Slate ID в том, что нейронка видит хлопушку в кадре, считывает всё, что на ней написано, и автоматически заносит это в метаданные клипа — сцена, дубль, угол, дата, кто режиссёр, кто оператор.

Идея отличная. Реализация пока хромает. Я тестировал на разных вариациях с разными хлопушками и должен сказать честно: работает плохо. Во-первых, нейронка требует стандартной голливудской хлопушки — если у вас своя нестандартная или кустарная, она её просто не распознаёт нормально. Во-вторых, только английский язык, транслитом писать неудобно, особенно по киношным стандартам. В-третьих, и это самое обидное — данные она считывает, но расставляет не в те поля метаданных.

При этом все блогеры, которых я смотрел, говорили «работает идеально, пользуйтесь хлопушками, это будущее». Нет, это не так. Это сырая функция, которую ещё допиливать и допиливать. Странно, что никто об этом не сказал прямо — видимо, тестировали в идеальных условиях с голливудской хлопушкой и на этом остановились.

📷AI CineFocus
(Симуляция глубины резкости и rack focus)

Это, пожалуй, технически самый сложный инструмент из всего обновления — и внешне, и с точки зрения разработки. CineFocus строит карту глубины сцены: по сути, он анализирует кадр и создаёт чёрно-белую маску, где белый — это ближний план, чёрный — дальний. Дальше, опираясь на эту карту, он позволяет двигать ползунком фокусную плоскость прямо в посте: хочешь — фокус на переднем плане, хочешь — на заднем, можешь плавно переключать между ними в динамике.

Самая зрелищная возможность — трекинг точки фокуса. Можно указать движущийся объект, и CineFocus будет менять глубину резкости вслед за ним, имитируя rack focus — тот эффект, когда в кино камера «перефокусируется» с одного героя на другого. Раньше это было невозможно сделать в посте без серьёзных композитинговых навыков. Сейчас — ползунок и трекинговая точка.

Главная проблема, которая сдерживает весь этот потенциал — качество автоматически создаваемых карт глубины в Resolve. Они пока оставляют желать лучшего.

В сложных сценах нейронка не всегда правильно понимает, что ближе, что дальше — особенно если за объектом идёт окно или другая сцена с собственной глубиной. В результате блюр «прилипает» к объектам неправильно, и в таких местах эффект выглядит как артефакт, а не как кино.

Если в будущем появится возможность подгружать сторонние карты глубины — например, из специализированных нейронок, которые делают это качественнее, — инструмент станет действительно профессиональным. Потенциал огромный, реализация требует доработки по части карт глубины. Уже сейчас можно использовать в несложных сценах без быстрого движения и окон на фоне.

🔭AI UltraSharpen
(Умное повышение резкости)

До этого в Resolve был обычный шарпан — он просто повышал контраст на краях объектов и делал картинку визуально чётче. UltraSharpen работает иначе: нейронка сама находит контрастные зоны, пытается их слегка дорисовать и одновременно выделить. Это не просто контраст, а комбинация анализа текстуры и дорисовывания деталей. Один ползунок, никаких сложных настроек.

Чего он умеет: спасти кадр, где фокус в принципе попал, но чуть не дотянул. Если объект выглядит слегка мыльно, но резкость там технически есть — UltraSharpen это вытащит и сделает картинку ощутимо чище. Это реальный и полезный инструмент для таких ситуаций.

Чего он не умеет — и это важно сказать прямо, потому что некоторые блогеры написали обратное: он не спасёт кадр с промахом по фокусу. Если вы промахнулись и объект размыт по-настоящему — UltraSharpen не вернёт фокус из воздуха. Из замыленного кадра чёткий не получится. Я проверял — нет, не работает. «Вытащит запоротый дубль» — это преувеличение, не надейтесь.

🌏AI Motion Deblur
(Устранение смазывания от движения)

Motion blur — это смазывание, которое возникает, когда объект в кадре быстро движется и за время одного кадра успевает сместиться. Выглядит как характерный размытый след. Motion Deblur пытается это убрать — анализирует направление смазывания и восстанавливает чёткость. Рендерится долго, результат есть, но давайте честно: большинство людей никогда не будет пользоваться этим инструментом для обычного монтажа.

Настоящий смысл этого инструмента — в трекинге. Когда вы трекаете объект, который быстро движется, трекер цепляется за пиксели. Но на смазанном кадре конкретного пикселя нет — есть размытое пятно. Трекер теряет объект и начинает прыгать. Motion Deblur убирает смазывание до трекинга, и тогда трекер получает чистую точку, за которую можно держаться. Это позволяет нормально вешать графику или другие эффекты на быстро движущийся объект без постоянного соскакивания трекера.

Важная оговорка: ещё предстоит проверить, не вносит ли нейронка дополнительные шумы в изображение — для трекинга это критично, потому что шум сам по себе мешает держать точку. Но идея правильная, и для тех, кто плотно работает с трекингом, это может стать реальным инструментом.

Всё вышеперечисленное — первая публичная бета. Большинство функций уже работают лучше, чем стоило ожидать от нулевой версии.