Технологию нейронного суперсемплинга ARM будут интегрировать в процессоры с 2026 года. NSS ближе к AMD FSR4, поскольку для ее работы нужен вычислитель искусственного интеллекта.
ARM представила результат своей длительной работы над созданием технологии масштабирования разрешения для маломощных устройств. Ранее в этом году компания анонсировала ARM Accuracy Super Resolution (ASR), основанную на AMD FidelityFX Super Resolution 2.0. Новая нейронная технология развивает ее благодаря ускорению на базе искусственного интеллекта.
Со следующего года в новые чипы ARM начнут интегрировать ускорители NPU, которые будут обеспечивать более 10 TOPS/Вт для нейронных нагрузок. NSS заменяет многие фиксированные алгоритмы суперсемплинга легкой моделью искусственного интеллекта. Она способна масштабировать изображение с 540p до 1080p примерно за 4 мс на кадр, уменьшая нагрузку на графический процессор до 50% по сравнению с нативным рендерингом.
NSS базируется на ASR, который уже используется в таких играх, как Fortnite и Infinity Nikki. Новая технология улучшает четкость изображения, стабильность и обработку теней, мелкой геометрии и эффектов частиц. NSS работает на графическом процессоре с общей памятью, использует квантование INT8 накопления данных через обучение, исправление и целевую пиксельную фильтрацию без реактивных масок.
Разработчикам доступен пакет Neural Graphics Development Kit, который включает плагин для Unreal Engine, эмуляцию Vulkan, инструменты профилирования, открытые модели на GitHub и Hugging Face, а также расширение машинного обучения Arm для Vulkan. Такие партнеры, как Epic Games, Tencent, NetEase, Sumo Digital и Enduring Games, уже работают с ним.
Источники: ARM, VideoCards