Arm 推出精锐超级分辨率技术
作者: Arm 开发者生态系统战略总监 Peter Hodges
近日,Arm 推出了 Arm 精锐超级分辨率技术 (Arm Accuracy Super Resolution, Arm ASR),这是一款面向移动设备进行优化升级的出色开源超级分辨率 (下文简称“超分”) 解决方案。本文将为你介绍我们所采用的方法,并欢迎你一同加入我们的技术探索旅程。
制作精良的游戏能够带领玩家踏上一段动人的旅程。游戏开发者套件里有许多工具可以为此增添助力,例如引人入胜的音乐、富有想象力的操控模式和图形效果等。就图形技术而言,手游中图像的精细程度令人震撼。游戏被渲染到包含数百万像素的屏幕上,并以惊人的 60Hz 或更高的刷新率显示呈现。
推动游戏开发更上一层楼是行业永无止境的追求。现代手游通过复杂的光照和着色器,不断突破极限,以实现开发者的愿景。然而代价在于,这不仅加重了 GPU 的负载,还会消耗更多电力。即使是在高端 PC 上,我们也认识到超分技术正是我们所追寻的答案。
Arm 精锐超级分辨率技术
通过超分技术,一帧的内容得以在某些阶段先以较低分辨率渲染,然后应用该技术从低分辨率放大到高分辨率。这一技术并非在帧渲染的每个环节都使用,否则可能会在渲染全屏效果或用户界面时产生不美观的瑕疵。然而,在管线的早期阶段,该技术可以发挥显著作用,并作为流程的一环提供抗锯齿效果。
图:将超分技术集成到帧中
后处理技术示例
在众多可用的解决方案中,AMD 超级分辨率锐画技术 2 (FSR 2) 引起了我们的关注。作为 GPUOpen 的一部分,该开源项目始于 2016 年,采用相对宽松的 MIT 许可证,旨在提供可移植的解决方案,以缓解 PC 和游戏主机之间存在的性能差异。这引发了我们的关注和思考:优秀的移动端解决方案应该具备哪些特性?
超分技术的类型
超分技术主要分为空间类和时域类。最先问世和被开发者采用的是空间类技术。
空间类超分会逐帧生成结果,其工作原理理解起来更加简单,对游戏引擎的要求也相对较低,例如 FSR 1 和骁龙游戏超级分辨率 (GSR) 就是这一类的代表。但该技术的缺点在于,开发者在选择渲染分辨率时不能过于激进,否则最终图像可能会出现模糊。不过,这种技术的算力成本相对较低。
而时域类超分则更为复杂,它通过整合多个帧的信息来生成最终结果。通常来说,它能够从较低分辨率生成更高质量的图像。但这对游戏引擎提出了额外的输入要求。例如,必须提供深度和运动矢量信息,并且最好有反应性遮罩,以便处理如粒子效果等缺乏深度或运动信息的元素。
迈向时域类超分技术
我们决定直接选用时域类超分技术,来应对常见的图形性能挑战,并为手游开发者带来优势。我们以 AMD FSR 2 为基础,它能够提供不错的效果,但实现成本相对较高,仅适用于 PC 和高端游戏主机。我们的解决方案源自 FSR 2,因此开发者能够继续使用熟悉的 API 和配置选项。
在研究过程中,我们采用了大家熟悉的小餐馆场景,并且增加了更多的局部重叠光源和主光源衰减,以此模拟实际的计算挑战,大约需要渲染 280 万个三角形。
图:小餐馆场景由 NVIDIA 提供,并基于 Creative Commons CC-BY-4.0 许可协议进行发布
针对搭载 Arm Immortalis-G720 GPU 和采用 2800x1260 显示分辨率的商用移动设备,我们对收集的结果进行分析后,发现 GPU 性能得到了显著提升。
图:使用 Arm ASR、FSR 2、FSR 1 和 GSR 时的
原生分辨率和提升性能的帧率分析
同样重要的是,这项技术能够稳定保持在相对较低的温度下,渲染出高质量的结果。而以原生分辨率进行渲染时,不可避免地会出现明显的发热升温,这会有损游戏中的用户体验,并缩短游戏时间。
Arm ASR 的性能表现
Arm ASR 的出色性能得益于一系列高效的着色器代码,不仅减轻了 GPU 的负载,也降低了带宽需求。
图:FSR 2 和 Arm ASR 的 GPU 性能分析
性能的提升往往也同样意味着节省能耗,由此可以延长电池续航时间,这对于用户的日常使用是一大利好。在我们与 MediaTek 的协作中,证实了这一推测,在搭载天玑 9300 芯片的手机上进行了测试并得到了以下结果。
图:原生全分辨率 (1080p)、Arm ASR 质量、平衡和性能模式下 从 540p 提升到 1080p,以及原生半分辨率 (540p) 的功耗对比
Arm 游戏内容团队一直在努力制作一款虚幻引擎 (Unreal Engine) 演示,以挑战未来移动端 GPU 的性能极限。我们也期待将 Arm ASR 应用于此类内容演示中。
图:由 Arm 内容团队提供的 Mori 演示画面
这个演示场景中包含了许多精致入微的细节,这正是因为我们在 Arm ASR 中支持了稳健对比度自适应锐化 (RCAS) 技术,AMD FSR 1 和 FSR 2 也采用了这项技术。效果显而易见:
图:Mori 场景中的放大部分
与开源社区共享成果
我们对这项工作成果深感自豪,并希望基于 MIT 开源许可协议与开发者社区进行成果共享,使得每一位开发者都能亲身感受 Arm ASR 的优势,并在自己的项目中尝试应用。如果你希望成为早期采用者,请扫描以下二维码或者点击阅读原文,与我们联系。
加入微信
获取电子行业最新资讯
搜索微信公众号:EEPW
或用微信扫描左侧二维码