На фоне многочисленной критики новой версии апскейлера NVIDIA DLSS 5 ютубер Дэниел Оуэн обратился к компании с рядом вопросов касательно работы новой технологии.
Представитель NVIDIA Джейкоб Фримен пообщался с Оуэном и ответил на его вопросы. В частности, ютубер спросил, действительно ли DLSS 5 просто использует скриншот изображения в сочетании с векторами движения и генерирует собственный результат?
Фримен подтвердил, что так и есть. Таким образом DLSS 5 пропускает исходный скрин через генеративную модель ИИ для улучшения изображения, а конечный результат рендерится поверх игрового движка. Далее Оуэн спросил, DLSS 5 каким-то образом анализирует 3D-геометрию и глубину, или же просто обрабатывает скриншот насколько это возможно ради улучшения на основе результатов анализа?
«DLSS 5 обучается от начала до конца, чтобы понимать сложную семантику сцены, такую как персонажи, волосы, ткани и полупрозрачная кожа, а также условия освещения окружающей среды, такие как фронтальное освещение, освещение сзади или пасмурная погода — все это путем анализа одного кадра», — объясняет представитель NVIDIA.
Из этого уклончивого ответа ютубер сделал вывод, DLSS 5 не имеет никакого отношения к 3D-геометрии. Однако если базовая геометрия и текстуры остаются неизменными, как утверждают в NVIDIA, то почему в некоторых случаях текстуры выглядят измененными? И хотя и не существенно, но все же отличаются от оригинального изображения. Ярким примером, как отмечает Оуэн, служит персонаж из Starfield, у которого после обработки DLSS 5 прибавилось волос на левом виске.
Представитель NVIDIA уклонился от ответа на этот вопрос. По его словам, базовая геометрия остается неизменной, а представленная компанией версия апскейлера ранняя демонстрация. По мнению ютубера, геометрия может и остается неизменной, однако конечный результат будет соответствовать тому, что посчитает нужным DLSS 5.
В официальном руководстве NVIDIA отмечает, что DLSS 5 улучшает свойства PBR-материалов. Оуэн спросил, действительно ли апскейлер принимает в качестве входных данных спецификации PBR, включенные в игровой движок? Речь идет о свойствах материалов, шероховатости, картах нормалей и тому подобное. Или же DLSS лишь выводит все свойства PBR?
Джейкоб Фримен ответил, что DLSS 5 принимает в качестве входных данных только отрендеренные кадры и векторы движения, тогда как конечные результаты выводятся только из отрендеренных кадров. Ютубер отмечает, что это уточнение делает официальные заявления об улучшении свойств PBR вводящими в заблуждение.
СпецпроектыThe Missing 40%: Bitget запускає масштабну партнерську програму із призовим фондом $1 млнBitget і SlowMist опублікували аналіз нових ризиків, пов’язаних із AI-агентами та їхніми самостійними операціями
Оуэн также спросил, контролируют ли разработчики игр что-то кроме цветокоррекции, уменьшения степени влияния DLSS 5 или сокрытия результатов апскейлинга в случае с определенными персонажами или объектами. Он приводит пример, когда Грейс Эшкрофт из RE: Requiem в оригинале не имеет макияжа, однако сгенерированное DLSS 5 изображение добавляет макияж. Проще говоря, могут ли разработчики указать апскейлеру на рендеринг персонажа без макияжа?
Длинное объяснение NVIDIA не дает прямого ответа на этот вопрос. Складывается впечатление, что на данном этапе нет возможности что-то указывать апскейлеру вообще. К тому же представитель компании подтвердил, что DLSS 5 ограничивается исключительно пространством оригинального изображения и не учитывает источники света за его пределами, такие как преломление, затенение и тени, сформированные окружающей средой.
Это означает, что апскейлер вообще не понимает алгоритм рейтрейсинга. Оуэн спрашивает, зачем тогда геймерам вообще активировать эту функцию, если DLSS 5 не учитывает эти сложные вычисления, которые требуют огромной вычислительной мощности.
Ранее мы писали, что DLSS 5 посеяла панику среди разработчиков Resident Evil Requiem. DLSS 5 не просто рендерит каждый кадр, а дополнительно работает с освещением, принимая на входе цветные и динамические векторы и используя ИИ для создания фотореалистичного освещения и улучшенной детализации.
Дженсен Хуанг відповів геймерам: DLSS 5 не халтура від ШІ
Источник: NotebookCheck