BAS-360, Exploring Spatial and Temporal Adaptability in 360-degree Video over HTTP/2

作者 Noven Kan/杆 日期 2018-08-04
BAS-360, Exploring Spatial and Temporal Adaptability in 360-degree Video over HTTP/2

文章来源:
M.Xiao, C.Zhou, V.Swaminathan and etc. “BAS-360:Exploring Spatial and Temporal Adaptability in 360-degree Video over HTTP/2”, in Proceedings of IEEE International Conference on Computer Communications, 2018.

摘要

这篇文章主要提出了一个360度视频自适应传输的系统架构。为应对全景视频所需的传输带宽越来越大以及目前的视点预测技术在长时预测准确率非常小的状况,作者在HTTP2.0协议可以终止正在传输的错误包并重传正确包的特性下,设计了一套在时间和空间维度上优化视频传输码率,最小化带宽浪费的基于360度视频切片的自适应流技术。

360度视频目前都是采用空间切片技术,即将每一帧视频都在空间上切成网格状的切片,分别对每个切边分配合适的比特率编码进行传输,以减少带宽消耗。

空间维度的优化是指:根据用户视点预测得出的用户短时间内可能观看的视点,将范围内的切片分配较高的比特率,而用户可能看不到的切片分配低比特率或者不传输。在某一时刻,哪些切片传高比特率版本,哪些切片传最低比特率版本或者不传,这就是空间优化。

时间维度的优化是指:对上一段中提到了每一个切片,需要根据预测的实时带宽状况来选择合适的比特率,比特率版本可以有很多个,具体选多大的比特率还要看传输时刻的网络带宽状况,同时也需要结合过去的一段时间里该切片的比特率,使得在一个时间段内浪费的带宽最小,用户观看的体验满意度最高。

贡献

结合已发表的文章和技术来,这篇文章的贡献主要有以下两点:

1、最主要的贡献:macro-streaming units

作者一改以往在切片(tile)层面优化的方式,结合Human Visual System将用户视野中的所有切片按照观看概率和权重分配相应的比特率组成一个macro-streaming units,这样的话,就可以根据视点的不同选择对应视点的macro-streaming units,优化变量从tile层面变成了macro-streaming units层面。这个想法看起来似乎不错,但是可惜的是从实验结果来看效果并不理想,而且也没有跟使用tile层面优化的方法进行对比,无法知道比tile层面优化的方法好多少;

1

2、得出了使用该方案前后的比特率自适应匹配算法的复杂度

3、考虑了切片后由于帧间编码和帧内编码之间的依赖关系会给每个切片分开传输在合并所带来的一些影响并给出了解决方案。

系统框图

2