联邦全景直播框架

带宽减半精度不减

面向全景直播的联邦传输框架，以强化变分推理协同训练FoV预测模型并缓解带宽压力。

Chen, Xingyan · Wang, Mu · 许长桥 · Yu, Zhao · Shujie, Yang · Jiang, Ke · 李清 · 衷璐洁 · Muntean, Gabriel Miro

IEEE Transactions on Multimedia 2023

技术优势

带宽省一半

通过准确的 FoV 预测只传输用户视口区域，避免传输整个全景视频，从而大幅减少数据量。

去中心协同训练

利用联盟内相似观看行为的观众协同训练 FoV 预测模型，在数据不出本地的前提下提升模型质量。

预测驱动异步分发

基于预测提前推送用户可能观看的瓦片，降低感知时延，提升直播流畅度。

应用场景

• 全景视频直播：提升直播画质的同时节省带宽成本，使全景视频大规模分发成为可能。
• 低带宽流媒体：通过精准视口预测减少冗余传输，让低带宽网络也能流畅观看全景内容。
• 联邦学习部署：提供可落地的联邦训练算法和开源实现，降低边缘设备上部署预测模型的门槛。
• 卫星互联网分发：利用联邦学习降低上行链路压力，适合卫星链路上带宽受限的直播分发。