4K葫芦娃重生的秘密,藏在火山引擎里( 四 )


火山引擎,与生俱来的视频能力火山引擎是字节跳动旗下的企业级技术服务平台,围绕音视频技术搭建了视频点播、veImageX、企业直播、视频直播、实时音视频、云编辑、智能处理于一体的视频云产品矩阵 。视频云属于火山引擎中台层面的服务,其最大的优势是拥有抖音、西瓜视频、今日头条等实战场地,能够在丰富的场景下不断迭代、打磨音视频能力 。
火山引擎视频云产品负责人Keith此前在接受媒体采访时表示,“我们会在抖音和西瓜场景中,不断去探索视频播放体验的极致,同时解决这个过程中出现的大规模问题 。而这些问题的解决方案,我们会把它沉淀成方法论,然后融合到火山引擎视频云的产品中去 。”
所有音视频产品发展到一定规模后,其突破点一定是“细节”的处理,早在2016年,字节跳动就上线了大规模测试平台A/B测试,为字节跳动算法和产品提供检验和优化的平台 。A/B测试连接抖音、西瓜视频等全线业务后,每天开展上万场测试,单日新增实验数量最高超过了1500个,覆盖500多个大大小小的业务 。此次4K修复技术用到的智能插帧、智能超分、智能降噪等算法已经过了A/B测试及多平台多场景的千锤百炼 。
标准被誉为高科技产业王冠上的宝石 。谁在标准中拥有更多专利,在产业中就拥有更大的话语权与主动权 。正因为如此,各大科技巨头都高度重视标准制定,将相关专利技术视为核心资产 。
在国际标准H.266/VVC贡献者排行榜上,字节跳动排名第三,仅次于高通和华为 。
作为一家没有参与上一代视频编解码标准开发的互联网公司,字节跳动实现了从标准跟随者到制定者的跨越 。而在新一代视频编解码标准制定过程中,字节跳动发起的100多项技术提案获得H.266/VVC标准采纳,形成一系列原创性技术 。
除了标准化工作的重要贡献之外,火山引擎多媒体实验室团队在H.266/VVC商业化落地方向也做出了积极的贡献 。
早在2019年6月,火山引擎已经完成满足点播场景应用的自研编码器BVC第一个版本,该版本与x265编码器相比,在相同计算资源下,针对大量的1080p高清视频,BVC编码器可以将平均码率下降33% 。之后,BVC经过不断迭代,性能又有大幅提升 。除了自研编码器,自研解码器也已经配套完成,在高端手机上可以做到实时流畅播放高清和超高清视频 。
H.266标准之后,火山引擎对视频编码技术仍在进一步探索,目前侧重的两个方向,一个是基于新兴深度学习的视频压缩(也包括深度学习和传统混合视频编码框架的结合),另外一个是基于传统混合视频编码框架技术的继续挖掘 。尽管还只是刚刚开始,但已经取得了突破性的进展:

  • 基于深度学习的自适应滤波器DAM算法,获取15%以上的性能增益;
  • 基于混合视频编码框架融合多项技术,获得超过13%以上的性能增益 。
其中,自适应滤波器(DAM)算法,主干是基于残差单元堆叠的深度卷积网络,辅以自适应模型选择以最大程度适应特性复杂的自然视频 。所谓残差单元是指通过引入跳层连接,允许网络把注意力放在变化的残差上,这与视频图像帧之间的残差有异曲同工之妙,比如武林高手决斗,“剑光一闪”,每一帧图像绝大部分内容是相同的,闪动的剑光形成残差,这也是视频编码压缩的重点关注对象 。
实验结果显示,相比H.266/VVC最新标准,字节跳动的DAM解决方案能够为视频编码性能带来显著提升,亮度信号Y可实现10.28%的性能增益,两个色度信号U和V,性能增益也分别达到28.22%和27.97%,在视频质量有所优化的同时,至少还可缩小13%的数据体积 。


以上关于本文的内容,仅作参考!温馨提示:如遇健康、疾病相关的问题,请您及时就医或请专业人士给予相关指导!

「四川龙网」www.sichuanlong.com小编还为您精选了以下内容,希望对您有所帮助: