边界连续无畸变
用pano式移位窗口和pitch注意力解决ERP投影的边界不连续与空间失真问题。
Ling, Zhixin · Xing, Zhen · 周向东 · Cao, Manliang · Zhou, Guichun
2023
pano式移位窗口让左右边界处的图像块能够互相通信，网络不再把全景图的接缝当作断裂边缘处理。
pitch注意力按垂直角度分配注意力权重，使网络关注在球面上真正重要的区域，而不是被ERP投影拉伸的顶部和底部。
基于球面距离和笛卡尔坐标的绝对位置嵌入与相对位置偏置让Transformer显式知道像素在球面上的真实距离。
两阶段学习框架让网络先受益于海量平面图像上学到的通用特征，再到全景任务上微调，降低对全景标注数据的需求。