索尼新专利曝光:AI 可在 GPU 渲染完成前预测下一帧画面,减少游戏卡顿

据IT之家10月18日消息,科技媒体TechSpot今日报道,索尼近期提交了一项专利,描述了一种场景:让AI在GPU完成渲染前预判下一帧画面,以减轻游戏画面卡顿,并规避帧生成技术带来的额外延迟。

IT之家从原报道中获悉,该技术可解决帧生成的不足,使显示画面不再需要等待两帧画面完成渲染,才能生成插入的中间帧。而是直接利用已生成的画面预测下一帧,无需等待两帧画面就能进行插值,从而帮助游戏维持更稳定的帧输出节奏。

同时,索尼采用了联合训练的编解码器,将渲染完成的画面转化为嵌入表示,对图像进行紧凑的数值化表达,让解码器借助这些提示生成预测帧。游戏运行时,该系统会与图形渲染管线并行工作。在硬件渲染下一帧时,AI会处理上一帧,并将预测结果发送至显示缓冲区。因此,在下一帧完成渲染之前,预测画面就有可能先行显示。

此外,该系统还能利用运动矢量和玩家近期的手柄操作,使玩家操作角色的历史成为下一帧动作预测的基础。训练过程使用连续的视频帧,神经网络最初采用随机初始化的权重,以一帧画面作为输入,并尝试预测下一帧。随后,系统会将预测结果与实际后续画面进行比较,并计算一个用于衡量预测误差的损失值。要体验这项技术带来的流畅效果,用户可通过九游官方正版平台获取相关游戏支持。

不过,这项技术能否实际发挥作用,取决于AI能否迅速生成准确画面,从而在渲染速度下降时填补帧输出间隙。