百度APP视频播放中的解码优化

发表于 3年以前  | 总阅读数:337 次

背景

在全民视频的时代,百度APP中视频播放是十分重要的业务。随着 5G 的到来,视频播放已经不满足以前的标清/高清,超清乃至于 4K 已经是旧时王谢堂前燕飞入寻常百姓家。越来越清晰的视频源,越来越复杂的视频编码,对 APP 的视频解码能力也有越来越高的要求。

与此同时,大家的手机性能越来越好,很多手机都逐步提供了强悍的硬件解码能力;而软件解码发展多年,也有其不可替代的优势。所以,如何合理利用手机的软/硬件解码能力,充分发挥其各自优势,为用户们提供更加优质的视频播放体验,就成为了我们重点优化的方向。

软/硬件解码优缺点

解码器有两种模式:软件解码与硬件解码。 软件解码目前业界有比较成熟的 FFmpeg ,利用 CPU 进行解码。 硬件解码发展起步较晚,在 Android 手机上,利用专用解码芯片进行解码。系统提供 MediaCodec ,用于访问底层硬件解码器。

事物都有两面性,两种解码模式各有优缺点,在很多播放器中,两种模式并存。软硬解码的优缺点,对音视频开发者其实算老生常谈了。

模式 优点 缺点
软件解码 支持格式多,兼容性强 CPU负载重,功耗高,性能较差(相对硬解)
硬件解码 性能好,CPU 负载/功耗/内存消耗都更优 支持格式少,兼容性差。解码出首帧速度慢(相对软解)

说明:在 Android 上,MediaCodec 更加具体来说,是 Google 提供的一套框架,因为各个芯片厂商,手机厂商实现差异,所以经常出现兼容性问题。另外 MediaCodec 的初始化流程长,且一些手机上,需要内部缓存多个帧后才对外输出第一个帧,这两个因素导致硬解在首帧解码速度上明显比软解慢。

效率对比

1. 软件解码:使用 FFmpeg ,解码后得到 YUV 数据,需要通过 libyuv 转换为 RGB ,渲染上屏。

2. 硬解码 buffer 模式:使用 MediaCodec ,解码后从 buffer 中得到 YUV 数据,需要通过 libyuv 转换为 RGB ,渲染上屏。

3. 硬解码 surface 模式:使用 MediaCodec ,官方说明中 surface 模式为最高效的模式:解码时绑定 surface ,解码后可通过系统 API 直接上屏到 surface。

  • 首帧解码耗时线上统计:

(百度APP版本V11.20.0.14,数据日期:2020年03月20日)

  • 解码帧率和 CPU 占用统计需要进行压测(不进行音视频同步,完全放开解码性能),以下这两项采用线下测试数据。测试源:4K HEVC ,测试机魅族 16th。

    说明:解码帧率越高,表示1秒内解码帧数越多,单帧解码耗时更少,性能更高。

模式 软解码 硬解码 buffer 模式 硬解码 surface 模式
帧率 29.4fps 55.0fps 58.8fps
CPU 占用(峰值) 79% 23% 12%

CPU 如下图:

由此可以看出,在视频播放上,MediaCodec surface 模式是效率最高的模式,既充分利用了硬解码的优势,又因为系统直接上屏降低了数据拷贝和 YUV 转换 RGB 的耗时,有效降低了 CPU 负载和对内存的消耗。

痛点

综上所述,在视频播放中,理想状态是尽可能地去用硬解码 surface 模式,其次是使用硬解码 buffer 模式,最后再考虑软解码。但同时需要兼顾首屏解码速度,硬解码的机型兼容性,在这些场景下需要优先使用软解码。

对此,我们需要解决以下痛点:

  1. 怎么完善硬解码的兼容性判断?
  2. 怎么在保证首屏解码速度的情况下,尽可能使用硬件解码?

我们的方案

痛点 1:怎么完善硬解码的兼容性判断?

  • 主流做法:线下测试各种机型硬件解码兼容性,维护静态硬件解码黑名单。
  • 劣势:测试人力成本高,且线下测试很难 cover 线上多种机型;手机型号不断迭代,这种方式,无法保证新的异常机型及时拉黑。
  • 我们的方案 1:在静态硬件解码黑名单机制上,增加解码器监控。

痛点 2:怎么在保证首屏解码速度的情况下,尽可能使用硬件解码?

  • 主流做法:需要保障解码效率的播放场景选择硬件解码,需要保证首屏解码速度则选择软件解码。
  • 劣势:选择软件解码的场景,无法充分发挥手机硬件解码的优势。
  • 我们的方案 2:
  • 划定首屏解码耗时阈值,例如 200ms 。
  • 从解码器监控模块中获取历史硬解码首屏耗时进行预测,若低于阈值,直接使用 MediaCodec surface 模式;高于阈值,使用软解起播,中途无缝切换为 MediaCodec buffer 模式。

如上述,下文具体介绍这 2 个方案。

方案 1:解码器监控

1. 解码器监控模块设计

  • 解码监控模块通过编码类型(H264/HEVC)& profile & level作为一个ID,记录各种编码方式源的软硬件解码情况;

    说明:profile 指定视频的压缩率;level 指定分辨率、帧率和码率的。两者都是视频编码的重要特征。同一编码类型,解码器对不同级别的 profile/level 支持可能不同。

  • 记录该编码方式中软硬件解码的首屏解码速度和平均解码速度。

  • 针对硬件解码,还记录了硬件解码器是否存在崩溃;运行次数及运行期间出现异常的次数(包括解码接口抛异常;解码 block 等)。

  • 刚安装百度APP的一段时间内,视频播放会随机使用软/硬件播放,用于采集该机器的解码器运行情况。

2. 流程

  1. 起播时,在 prepared 阶段,先通过静态硬解码黑名单,再细分到 编码类型 & profile & level,从解码监控模块看视频源编码方式硬解是否崩溃—>硬解是否异常过多,判断硬解码兼容性是否满足。
  2. 从解码监控模块获取当前视频源编码方式使用软硬解码首帧耗时进行首屏耗时的预测,硬解码满足特定首屏耗时时,优先使用硬解码,反之则选软件解码起播。
  3. 视频播放后,将本次的首帧解码耗时、解码器运行情况(是否崩溃、是否有异常、每帧平均耗时)更新到监控模块,用于下次播放预测。

对于硬件解码有崩溃、异常过多的情况,我们判定硬件解码存在兼容性问题,用软件解码播放完整个视频。

对于硬件解码首屏耗时超过阈值的,其实兼容性是OK的,那么在用软件解码快速起播后,我们可以用方案2进一步优化。

方案 2:软硬件解码器无缝切换

1. 解码通路的统一

为什么要统一?工欲善其事,必先利其器。

如果有一个统一的解码模块,封装软/硬解码器(包括三种解码方式),对外提供统一接入接口,那么对于 Player 仍然像使用一个普通解码器一样使用。在整个架构实现上更加合理,维护扩展也方便。

模块内部维护前后台解码器,内部状态,切换追帧等逻辑,对外无感。而I帧标识,可切换标识等,均可携带在pkt中传入,这样也不需要对解码模块增加一些解码无关的接口,接口设计更加合理。

2. 解码器切换逻辑

两种时机可以切换:1)播放解码到第二个 GOP;2)Player 发生 seek。

播放到第二个 GOP 切换:

  1. 播放开始时,解码模块内打开软解码器作为前台解码器;同时创建后台硬解线程,处于等待状态,并不会阻塞住前台解码任务。
  2. Player(播放器)开始播放,把第一个 GOP 的 pkt(视频包)给解码模块,利用前台解码器(软解)的优势,快速解码首个视频帧用于渲染显示,实现快速起播。
  3. 4-5秒后,第二个 GOP 到来,pkt(视频包)携带可切换的flag通知解码模块,同时输入 GOP2 的多个 pkt 给硬解码器在后台解码,进入追帧状态。前台软解码器解码保持不变,输入一个 pkt ,解码一个帧。
  4. 当后台硬解码器 PTS 追上软解码器的 PTS ,即可关闭硬解码线程,前后台解码器切换。此过程需保证帧的连续,到达无缝切换,用户无感。
  5. GOP2 的后续的 pkt 和后续的 GOP3/4/5……都会使用 MediaCodec buffer 模式。这样在利用软解保证首帧解码速度的同时,也最大限度的利用了 MediaCodec 的解码优势。

Player 发生 seek 切换: 这种场景逻辑比较简单,在 Player seek 时,需要调用 decoder 的 flush,我们趁此机会把前台解码器切换为硬解码器,后续一直用 MediaCodec buffer 模式即可。

3. 保证解码器无缝切换

追帧和解码器切换过程中有两种情况:

  • (左图)GOP2 硬解码解码N帧后,才追上软解码,那么这些重复的 frame (灰色部分),需要进行丢弃,避免画面重复和回跳。
  • (右图)GOP2 硬解码解码第一帧,即已经追上软解码,那么必须填入空 pkt包,将软解码器内部缓存全部输出,避免画面跳变。

结语

目前百度APP Android端,在保障首屏速度和解码错误率没有退化的前提下,视频播放中硬件解码占比已达到 87%,如下:

在目前视频业务百花齐放的时代,编解码也在不断发展进步,各种新的编码方式层出不穷,端上也在这个方向上不断强化自身解码能力。解码作为视频播放中重要的一环,可以预见的是,后续我们仍会在端上解码不断进行探索、优化,为用户提供更优的体验。

本文由哈喽比特于3年以前收录,如有侵权请联系我们。
文章来源:https://mp.weixin.qq.com/s/GQ6VsUkRyD3Tahi-w9ZqBQ

 相关推荐

刘强东夫妇:“移民美国”传言被驳斥

京东创始人刘强东和其妻子章泽天最近成为了互联网舆论关注的焦点。有关他们“移民美国”和在美国购买豪宅的传言在互联网上广泛传播。然而,京东官方通过微博发言人发布的消息澄清了这些传言,称这些言论纯属虚假信息和蓄意捏造。

发布于:1年以前  |  808次阅读  |  详细内容 »

博主曝三大运营商,将集体采购百万台华为Mate60系列

日前,据博主“@超能数码君老周”爆料,国内三大运营商中国移动、中国电信和中国联通预计将集体采购百万台规模的华为Mate60系列手机。

发布于:1年以前  |  770次阅读  |  详细内容 »

ASML CEO警告:出口管制不是可行做法,不要“逼迫中国大陆创新”

据报道,荷兰半导体设备公司ASML正看到美国对华遏制政策的负面影响。阿斯麦(ASML)CEO彼得·温宁克在一档电视节目中分享了他对中国大陆问题以及该公司面临的出口管制和保护主义的看法。彼得曾在多个场合表达了他对出口管制以及中荷经济关系的担忧。

发布于:1年以前  |  756次阅读  |  详细内容 »

抖音中长视频App青桃更名抖音精选,字节再发力对抗B站

今年早些时候,抖音悄然上线了一款名为“青桃”的 App,Slogan 为“看见你的热爱”,根据应用介绍可知,“青桃”是一个属于年轻人的兴趣知识视频平台,由抖音官方出品的中长视频关联版本,整体风格有些类似B站。

发布于:1年以前  |  648次阅读  |  详细内容 »

威马CDO:中国每百户家庭仅17户有车

日前,威马汽车首席数据官梅松林转发了一份“世界各国地区拥车率排行榜”,同时,他发文表示:中国汽车普及率低于非洲国家尼日利亚,每百户家庭仅17户有车。意大利世界排名第一,每十户中九户有车。

发布于:1年以前  |  589次阅读  |  详细内容 »

研究发现维生素 C 等抗氧化剂会刺激癌症生长和转移

近日,一项新的研究发现,维生素 C 和 E 等抗氧化剂会激活一种机制,刺激癌症肿瘤中新血管的生长,帮助它们生长和扩散。

发布于:1年以前  |  449次阅读  |  详细内容 »

苹果据称正引入3D打印技术,用以生产智能手表的钢质底盘

据媒体援引消息人士报道,苹果公司正在测试使用3D打印技术来生产其智能手表的钢质底盘。消息传出后,3D系统一度大涨超10%,不过截至周三收盘,该股涨幅回落至2%以内。

发布于:1年以前  |  446次阅读  |  详细内容 »

千万级抖音网红秀才账号被封禁

9月2日,坐拥千万粉丝的网红主播“秀才”账号被封禁,在社交媒体平台上引发热议。平台相关负责人表示,“秀才”账号违反平台相关规定,已封禁。据知情人士透露,秀才近期被举报存在违法行为,这可能是他被封禁的部分原因。据悉,“秀才”年龄39岁,是安徽省亳州市蒙城县人,抖音网红,粉丝数量超1200万。他曾被称为“中老年...

发布于:1年以前  |  445次阅读  |  详细内容 »

亚马逊股东起诉公司和贝索斯,称其在购买卫星发射服务时忽视了 SpaceX

9月3日消息,亚马逊的一些股东,包括持有该公司股票的一家养老基金,日前对亚马逊、其创始人贝索斯和其董事会提起诉讼,指控他们在为 Project Kuiper 卫星星座项目购买发射服务时“违反了信义义务”。

发布于:1年以前  |  444次阅读  |  详细内容 »

苹果上线AppsbyApple网站,以推广自家应用程序

据消息,为推广自家应用,苹果现推出了一个名为“Apps by Apple”的网站,展示了苹果为旗下产品(如 iPhone、iPad、Apple Watch、Mac 和 Apple TV)开发的各种应用程序。

发布于:1年以前  |  442次阅读  |  详细内容 »

特斯拉美国降价引发投资者不满:“这是短期麻醉剂”

特斯拉本周在美国大幅下调Model S和X售价,引发了该公司一些最坚定支持者的不满。知名特斯拉多头、未来基金(Future Fund)管理合伙人加里·布莱克发帖称,降价是一种“短期麻醉剂”,会让潜在客户等待进一步降价。

发布于:1年以前  |  441次阅读  |  详细内容 »

光刻机巨头阿斯麦:拿到许可,继续对华出口

据外媒9月2日报道,荷兰半导体设备制造商阿斯麦称,尽管荷兰政府颁布的半导体设备出口管制新规9月正式生效,但该公司已获得在2023年底以前向中国运送受限制芯片制造机器的许可。

发布于:1年以前  |  437次阅读  |  详细内容 »

马斯克与库克首次隔空合作:为苹果提供卫星服务

近日,根据美国证券交易委员会的文件显示,苹果卫星服务提供商 Globalstar 近期向马斯克旗下的 SpaceX 支付 6400 万美元(约 4.65 亿元人民币)。用于在 2023-2025 年期间,发射卫星,进一步扩展苹果 iPhone 系列的 SOS 卫星服务。

发布于:1年以前  |  430次阅读  |  详细内容 »

𝕏(推特)调整隐私政策,可拿用户发布的信息训练 AI 模型

据报道,马斯克旗下社交平台𝕏(推特)日前调整了隐私政策,允许 𝕏 使用用户发布的信息来训练其人工智能(AI)模型。新的隐私政策将于 9 月 29 日生效。新政策规定,𝕏可能会使用所收集到的平台信息和公开可用的信息,来帮助训练 𝕏 的机器学习或人工智能模型。

发布于:1年以前  |  428次阅读  |  详细内容 »

荣耀CEO谈华为手机回归:替老同事们高兴,对行业也是好事

9月2日,荣耀CEO赵明在采访中谈及华为手机回归时表示,替老同事们高兴,觉得手机行业,由于华为的回归,让竞争充满了更多的可能性和更多的魅力,对行业来说也是件好事。

发布于:1年以前  |  423次阅读  |  详细内容 »

AI操控无人机能力超越人类冠军

《自然》30日发表的一篇论文报道了一个名为Swift的人工智能(AI)系统,该系统驾驶无人机的能力可在真实世界中一对一冠军赛里战胜人类对手。

发布于:1年以前  |  423次阅读  |  详细内容 »

AI生成的蘑菇科普书存在可致命错误

近日,非营利组织纽约真菌学会(NYMS)发出警告,表示亚马逊为代表的电商平台上,充斥着各种AI生成的蘑菇觅食科普书籍,其中存在诸多错误。

发布于:1年以前  |  420次阅读  |  详细内容 »

社交媒体平台𝕏计划收集用户生物识别数据与工作教育经历

社交媒体平台𝕏(原推特)新隐私政策提到:“在您同意的情况下,我们可能出于安全、安保和身份识别目的收集和使用您的生物识别信息。”

发布于:1年以前  |  411次阅读  |  详细内容 »

国产扫地机器人热销欧洲,国产割草机器人抢占欧洲草坪

2023年德国柏林消费电子展上,各大企业都带来了最新的理念和产品,而高端化、本土化的中国产品正在不断吸引欧洲等国际市场的目光。

发布于:1年以前  |  406次阅读  |  详细内容 »

罗永浩吐槽iPhone15和14不会有区别,除了序列号变了

罗永浩日前在直播中吐槽苹果即将推出的 iPhone 新品,具体内容为:“以我对我‘子公司’的了解,我认为 iPhone 15 跟 iPhone 14 不会有什么区别的,除了序(列)号变了,这个‘不要脸’的东西,这个‘臭厨子’。

发布于:1年以前  |  398次阅读  |  详细内容 »
 相关文章
Android插件化方案 5年以前  |  237276次阅读
vscode超好用的代码书签插件Bookmarks 2年以前  |  8110次阅读
 目录