可流式2D动态高斯

移动端实时渲染

通过将动态3DGS视为2D视频并利用硬件编解码器，首次在移动设备上实现体积视频的高质量流式渲染。

Penghao, Wang · Zhirui, Zhang · Wang, Liao · Kaixin, Yao · Siyuan, Xie · 虞晶怡 · Wu, Minye · Xu, Lan

ACM Transactions on Graphics 2024

技术优势

手机就能播

将动态3DGS视为2D视频，从而可以使用硬件视频编解码器，在普通移动设备上实现高质量渲染和流式传输。

训练更快

通过两阶段训练策略，第一阶段用哈希编码和浅层MLP学习运动并剪枝高斯数量，第二阶段微调其他属性，在保持质量的同时减少存储并加快训练。

存储更小

通过剪枝减少高斯数量以满足流式传输要求，并使用残差熵损失和时间损失保持时间连续性，实现紧凑存储。

应用场景

• 具身智能：在机器人等具身智能设备上流畅呈现三维场景，提升交互与感知的实时性。
• 物联网与传感网：让低算力的物联网终端也能播放高保真体积视频，拓宽传感器数据的展现形式。
• 工业机器人：在工业机器人上实时展示三维工作场景，辅助远程监控与精细作业。
• micro-LED显示：为micro-LED等新型显示设备提供可流式传输的三维内容，提升显示体验。