央視在世界盃高清直播中佔了C位 它是怎麼做到的

世界盃直播你看了嗎?央視網、央視影音的清晰度及流暢度是不是給你留下比較深刻的印象?我們先看下網友們的反饋:

央视在世界杯高清直播中占了C位 它是怎么做到的

從效果來看,極速高清服務在央視網正式上線運營後表現確實不錯,在世界盃開賽後與其他平臺用戶體驗也形成了比較鮮明的對比,一改過往用戶對央視大型賽事直播的看法。

本文從極速高清的工作原理出發,詳細介紹騰訊雲的深度學習技術如何對世界盃直播場景進行優化,其中還有騰訊雲如何在PK中勝出、如何在一週內完成央視網極速高清服務私有化部署等不為人知的故事。

騰訊雲極速高清:深度學習效能如何最大化?

普通轉碼主要存在的質量問題有:轉碼失真、低分辨率模糊、鏡頭抖動、噪聲大、低碼率鋸齒塊等。

央视在世界杯高清直播中占了C位 它是怎么做到的

極速高清服務是騰訊雲視頻雲新推出的智能動態編碼技術,主要原理就是通過深度學習,對直播視頻流進行智能處理,從而以更低的帶寬成本給用戶提供更高清的視頻直播流。主要通過以下幾個模塊協作完成。

視頻場景智能分類

首先通過深度學習的方法,形成包含遊戲,體育,秀場,戶外,動漫,美食,影視劇等在內的十幾個主流大類及幾十個小類場景模型庫。極速高清服務開始期間,對實時直播流進行檢測分析,並匹配對應場景模型。在匹配率方面,較明顯的場景如遊戲,足球,籃球,動漫等,CNN網絡模型匹配準確率達到98%以上;在電視劇,戶外運動,美食,旅遊等畫面特徵分散、幀間運動變化較大的場景下,CNN+RNN+LSTM做時域及空間域的分析,準確率也在85%以上。

編碼參數匹配

根據第一步場景分類實時識別結果,接下來結合視頻源碼率、幀率、分辨率、紋理和運動變化幅度等情況,以及綜合機器負載和畫質效果等維度,選擇最優編碼參數。

前置處理

根據不同場景分類、客戶對視頻畫質的不同要求,以及結合視頻源畫面紋理和實時運動檢測結果進行銳化、軟模糊、反交錯、去塊、降噪、色階補償、降幀等前置處理。

編碼動態優化

騰訊雲極速高清服務針對不同視頻類別,或者同一個視頻內的不同視頻段,應用完全不一樣的編碼參數。其中包括但不限於:IBP幀類型、量化參數QP、分辨率等;而且支持編碼參數按幀實時更新生效。

碼率智能控制

由於不管是標準H.264/JVT-G012 碼率控制算法還是x264的碼率控制算法,在運動變化切換比較明顯的場景下,預編一次得到率失真理論凸曲線都是儘可能接近最優失真曲線,對於運動場景實時檢測切換比較明顯的場景幀,我們會在x264碼率控制的基礎上,綜合幀時序信息做一些補償因子和畫質控制,使得主觀觀看得分VMAF值會有3-5分以上的提高。

央视在世界杯高清直播中占了C位 它是怎么做到的

圖注:極速高清在VMAF得分相同情況下,碼率控制更低更精準。

detail reduce

針對h264視頻編碼格式,我們設計了一種在視頻殘差的頻域上消除噪聲的算法。該算法結合了當前編碼宏塊的殘差大小,宏塊的QP值,歷史的頻域值等,並根據不同場景選擇匹配的video denoise模板,自適應地進行宏塊級的視頻處理,能夠以極低的CPU消耗對噪聲宏塊進行優化,同時保留清晰宏塊的完整性。

ROI處理

SIFT+差分圖像+運動目標圖像檢測或用戶指定(如臺標、水印)關注ROI區域,對該區域的宏塊編碼進行強化(放大/縮小量化步長)、銳化、色階補償等處理,如央視網世界盃就要求對臺標和字幕區域畫質和亮度增強。

騰訊雲視頻雲主要通過以上模塊協作處理在雲端開啟騰訊雲極速高清服務。

從模擬到切量:500+場的世界盃賽前預演

今年春節後,騰訊雲極速高清服務開始陸續接入一些頭部遊戲直播平臺,但針對體育賽事特別是足球賽事的客戶,我們一直沒有接觸到。世界盃前我們針對足球賽事場景做了一次系統化的機器學習以及視覺效果優化評估,以便為即將到來的世界盃做好準備。

預演:機器學習和視覺調整

我們通過網絡爬蟲收集到500場足球比賽視頻,針對每場比賽視頻,在高速運動場景,足球跟隨模型訓練,長遠鏡頭優化,精彩回放ROI區域增強,觀眾表情捕捉等細節上,做出視覺效果分析以及優化效果評估,以便打造世界盃最優動態編碼模型。

中超:試水極速高清服務

雖然我們一直在自己優化足球賽事的動態編碼模型,但一直缺少真實的落地用戶,此時內心還是有些忐忑的。大約4月中旬的時候,我們向龍珠直播的中超比賽主動推廣了極速高清服務,並針對中超的一些比賽逐步增加了極速高清服務,雖然開始的時候出現過一些問題,但後來逐步優化後,效果可以滿足客戶需求。

英超:切量大幅推廣

看不見的PK:幾十次服務升級和優化

央視作為整個視頻雲行業都極其看重的客戶,是各家雲廠商的必爭之地。此次世界盃前,央視決定在世界盃期間引入提升比賽清晰度的新技術後,各雲服務廠商都提供了自己的解決方案。經過幾輪測試,央視網最終決定在騰訊雲和某雲廠商之間選擇一家,由於世界盃已經臨近,對於我們來說是極大的考驗。在與對手的PK過程中,我們在碼率控制、去模糊、去塊、反交錯、運動搜索和分塊決策等模塊上共進行了幾十次的服務升級和優化,經過一輪又一輪的PK,央視網最終選擇了騰訊雲。

圖注:極速高清在VMAF質量稍微有優勢情況,碼率比友商少8%-10%左右。

我們是如何在一週內完成私有化部署的?

雖然在技術指標側我們勝出,但由於世界盃的特殊性及緊迫性,且客戶暫時沒有相匹配的服務器等硬件資源,所以需求就變成了:自帶機器私有化部署。其實前期我們與客戶溝通的過程中,“私有化部署”一事我們是清楚的,也在著手準備著。但此時時間緊迫,面對“服務器自帶”,“交換器自帶”,“運維人員自備”等需求,留給團隊準備的時間著實太少。但我們絕不想功虧一簣,況且服務好本次世界盃的高清直播,對用戶,對客戶,對騰訊來說都是極其重要的一件事。經過緊急協商,我們拿出了新的私有化方案。

升級後私有化部署目標

在央視網搭一整套騰訊雲極速高清轉碼集群,支持央視網世界盃期間CCTV5頻道直播,RTMP/FLV推拉源流,轉碼處理後支持央視RTMP/FLV/HLS拉流。

升級後私有化機器部署

客戶機房只有機架資源,考慮到如果讓客戶準備相關硬件資源,集團走採購申請的週期太長。若按常規流程,來不及服務此次世界盃。所以轉碼機器我們從公司外借10臺M10,其它相關輔助設備如:交換機、光模塊、光纖、網線等也經過了相關同學通力協作,進行了分頭採購。在進行服務器等硬件部署時,開發及架構師同學甚至親自佈線、擰螺絲。(這才是真正的全棧工程師)

央视在世界杯高清直播中占了C位 它是怎么做到的央视在世界杯高清直播中占了C位 它是怎么做到的
央视在世界杯高清直播中占了C位 它是怎么做到的

開場哨響 我們比球員還緊張

最終,在世界盃開賽前我們兼容了客戶硬件設備以及軟件代碼模塊的各種適配要求,接下來就是實戰的考驗了。

第一天比賽開始前,大家心裡都還很緊張,之前一切的努力如果在直播開始後出現問題,那都將付之一炬。開賽後,我們緊張地盯著屏幕:各項服務指標一切正常,出流效果超出預期,播出效果對比其他平臺優勢明顯。第一天的比賽後,我們也從客戶那裡獲得了極高評價,外部用戶的反饋也讓我們心裡的石頭落了地。但是,比賽才剛剛開始,為期一個月的世界盃,我們也會在看不見的地方繼續戰鬥!


分享到:


相關文章: