英特爾:視頻行業最佳“合夥人”


過去幾年,視頻行業的創新一浪接著一浪。從最早的搜狐視頻、愛奇藝和優酷為代表的點播平臺,到花椒、映客和鬥魚為代表的直播平臺,再到快手、抖音為代表的短視頻平臺。可以說,“群雄逐鹿”已成為視頻行業的主旋律。



根據CNNIC最新發布的《中國互聯網絡發展狀況統計報告》顯示,截至2019年6月,中國網絡視頻用戶(含短視頻)規模達7.59億,較2018年底增長3391萬,佔網民整體的88.8%。其中長視頻用戶規模為6.39億,佔網民整體的74.7%;短視頻用戶規模為6.48億,佔網民整體的75.8%。


英特爾:視頻行業最佳“合夥人”


毫無疑問,視頻行業之所以能夠快速爆發,最核心的原因還是源於技術的成熟。例如,自2015年以來4G用戶迅速增長,流量資費逐步下降;中國H.265編解碼的技術商用在全球處於領先;中國的雲服務能力的不斷提升;中國基於CDN網絡的技術創新不斷湧現等等。


在此過程中,作為中國視頻產業一路發展壯大的的見證者,參與者和賦能者,面對視頻行業的巨大變化,英特爾也始終站在技術與應用的最前沿,並隨著環境和客戶需求的變化而不斷的迭代和進化,為推動視頻行業的不斷創新帶來了更多的可能性,並真正成為了他們的最佳“合夥人”。


日前,筆者也首次走入搜狐視頻和快手兩家公司,並聆聽他們和英特爾在聯合創新中的幕後故事,由此更近距離感受到了技術創新給整個視頻行業帶來的巨大“驅動力”。


搜狐視頻:全方位聯合創新



如果要論資排輩的話,搜狐視頻絕對算的上視頻領域的“老前輩”。不過,和其他視頻網站的戰略不同,過去兩年搜狐視頻逐步退出了瘋狂的天價頭部版權劇市場,戰略上轉移為精品自制劇和PGC自媒體的製作。而《法醫秦明》、《無心法師》這樣口碑與流量俱佳的作品,也令搜狐視頻在激烈的廝殺中找到了自我成長和發展的獨特路徑。


英特爾:視頻行業最佳“合夥人”


在搜狐大數據中心負責人王帥看來,隨著視頻行業逐漸進入全平臺、全媒體化後,視頻行業的數據也出現了“指數級”增長,因此對計算能力和平臺的可靠性、可管理性也提出前所未有的要求。


在此背景下,搜狐早在2011就與英特爾共同成立了聯合實驗室,雙方每年都會有十多項的合作項目,涉及領域包括AI、算法、轉碼等方面,同時英特爾最新的硬件、軟件以及前沿技術也會率先引入搜狐,真正滿足了搜狐視頻在不同發展階段的需求。


首先,在視頻轉碼領域,我們知道,視頻轉碼本質上是一個先解碼,再編碼的過程,是指將已經壓縮編碼的視頻碼流轉換成另一個視頻碼流,以適應不同的網絡帶寬、不同的終端處理能力和不同的用戶需求。


王帥告訴我:“轉碼並不複雜,但是它的挑戰是搜狐視頻是全國佈網,因此需要第一時間分發到全國各地,並且要確保低延時,這對平臺的穩定性要求就很高。此外,轉碼有不同的格式,有不同的清晰度標準,同樣也對平臺的性能有著嚴苛的要求。”


基於這樣的考量,搜狐視頻在視頻轉碼系統中使用了英特爾第二代至強可擴展處理器和英特爾傲騰固態硬盤,不僅提高了視頻轉碼的效率,還大大加速了視頻上線速度,更提升了用戶的使用體驗。


“目前我們正在使用代號為Skylake的英特爾6130系列處理器,最新的Cascade Lake的6240系列處理器也正計劃使用。目前搜狐線上視頻全部採用CPU進行轉碼,發揮了英特爾處理器很大的優勢,因為英特爾處理器的很多指令級優化是GPU上完全沒有的。此外,SSD硬盤我們也全部使用英特爾,主要也是因為英特爾SSD在多年使用過程中穩定性非常高,故障率特別的低。”王帥說。


其次,在深度學習領域,搜狐視頻也正在通過AI的技術來優化轉碼系統,並展開包括超分辨率、HDR、老劇重生等方面的研究。


在超分辨率方面,搜狐視頻正將深度學習技術與視頻編碼技術相結合,開發了全新的基於深度學習的視頻超分辨率轉碼系統,實現將現有的藍光視頻到4k視頻的無損轉換,可以提供大量的高質量4k視頻源。而在HDR方面,搜狐視頻自主研發的HDR轉碼系統,則能實現將現有的視頻轉換為HDR視頻,從而明顯提高主觀效果和視頻VMAF評價指標,彌補了HDR視頻源不足的缺點。


英特爾:視頻行業最佳“合夥人”

英特爾:視頻行業最佳“合夥人”

搜狐視頻HDR優化前後對比圖


在老劇重生方面,搜狐視頻同樣也正利用人工智能技術與搜狐線上轉碼系統相結合搭建了一套全自動的老劇翻新轉碼系統,對老劇進行翻新,去除了老劇的模糊,噪聲大,顏色泛黃等種種缺點,極大的提升了老劇畫面質量。


據瞭解,無論是超分辨率、HDR還是老劇重生,搜狐視頻同樣和英特爾展開了很多的聯合創新,比如英特爾不但在硬件方面對搜狐視頻進行支持,在軟件和人工智能等方面也與搜狐一起進行合作;此外,搜狐視頻還與英特爾在軟件定義存儲性能優化、語音識別應用和推薦系統的加速與優化、DPDK網絡負載均衡加速等方面也有很多的探索,這對加速搜狐視頻在深度學習領域的應用發揮了重要的價值。


最後,在私有云領域,搜狐也將英特爾的產品和解決方案廣泛應用於自身私有云平臺的建設中,這也為搜狐新聞客戶端、狐友、通行證、視頻統計、廣告、手機搜狐等業務提供了重要的支撐。


例如,在對象存儲的應用中,英特爾至強可擴展處理器幫助搜狐利用虛擬化技術,增加對象存儲平臺的服務節點。測試數據顯示,在部署英特爾英特爾至強可擴展處理器之後,單個宿主機建立的虛機數量比原來提升了15%,單個節點的整體QPS提升在20%左右,由此進一步降低機房和機架成本。


王帥表示:“為了達到極高的性能,搜狐和英特爾在此過程中也做了大量的優化工作,最大化的發揮了英特爾在計算、存儲、網絡帶寬等領域的優勢,今天搜狐所有主要數據中心機房互聯都實現了百G以上的互聯,而且可以完成快速擴容,這些都為搜狐的私有云平臺打下了堅實的基礎。”


由此可見,正是對搜狐視頻在基礎設施升級和轉型中痛點的精準把握,以及在產品中堅持不斷的創新迭代,英特爾不僅贏得了搜狐視頻的充分的信任和認可,更推動了搜狐視頻將技術實力轉化成更為廣泛的行業生產力。


快手:異構計算驅動AI落地



短視頻,目前也成為了跟微信一樣普及的國民應用,堪稱過去兩年互聯網行業的“現象級”爆款產品,而快手更是其中的“佼佼者”。


英特爾:視頻行業最佳“合夥人”


數據顯示,2018年,快手短視頻App日活達到2億人次,日播放量達200億;大約每7箇中國人中就有一個快手的內容生產者,日均新增作品超過1500萬個;同時,有1600多萬人通過快手App獲得收益,總體收入超過200億。


同樣,短視頻也是一個典型的技術驅動型的行業,而AI技術則是其中最為重要的環節。因此,作為一家AI加大數據驅動的公司,快手也洞察到了這一新的變化,並通過積極擁抱異構計算,走在了AI技術應用的最前沿。


據快手異構計算架構師鍾輝介紹,人工智能需要大量的樣本進行訓練,但隨著人工智能的應用越來越廣,訓練數據的樣本量越來越大,對並行存儲容量和帶寬都提出了新的要求。


“目前CPU的性能提升每年是3%,但是數據的增長率是30%,所以供需之間有一個巨大的缺口。如果我們簡單採用單一處理器的方式必然在成本、功耗上,在機架位,以及散熱等方面會帶來很多部署的挑戰。”他說。


那麼,解決這一問題唯一途徑就是硬件採用特定域的架構(Domain Specific Architecture),這就是異構計算。目前,異構計算包括GPU、FPGA和ASIC三種方式,其中FPGA因低功耗、低延遲、高性能、可編程等特點,如今已成為線上推理平臺的重要選項。


鍾輝認為:“一方面GPU在線下的訓練領域取得了很大的成功,但它不太擅長實時推理的應用場景;另一方面,FPGA相對GPU還有一個獨特的優勢,那就是它具備網卡口,在通信領域能夠發揮更多的價值,因此FPGA在異構計算時代一定大有用武之地。”


目前,快手本著“從業務中來到業務中去”的原則,基於英特爾FPGA提供的PAC A10、E3S10和PAC S10板卡,已經構建出了三大類型的異構計算平臺。


其中,基於英特爾PAC A10,它的峰值算力可以達到1.366TFLOPS,構成了片上的分佈式存儲,可以提供6MB的SRAM;更關鍵的是,區別於CPU和GPU,它的片上的SRAM採用分佈式的方式,可以提供最高達8TB/s的並行帶寬;而PAC S10算力更強,存儲的容量更大,資源更豐富,這些板卡可以非常高效的滿足深度學習模型的需求。


此外,英特爾E3S10,這是一個更大的加速卡,這個大加速卡上面是E3的CPU,視頻編解碼能力非常強,同時還有專門的GPU,然後再加上S10的FPGA,就構成了一個比較齊全的異構加速卡,這裡面既有CPU又有GPU還有FPGA,可以很好的實現視頻和AI的應用結合。


不僅如此,鍾輝表示:“傳統的FPGA開發有一個非常大的問題,那就是開發週期非常長,但現在英特爾推出了OpenCL的開發語言,更好的降低了開發難度,雖然還不能像軟件一樣去做硬件,但是對於有一定硬件背景設計人員來說,開發難度和週期非常明顯的降低了。”


事實上,從快手基於OpenCL的定製化開發案例來看,其在數據中心部署FPGA的挑戰可以歸結為既要“上天”又要“入地”。


一是,“上天”是指FPGA是部署在雲上的,所以快手需要解決的首要問題是需要在數據中心找到合適的業務場景,能夠提供有價值的解決方案,它需有一定的通用性和規模化的。


二是,“入地”則指的是部署,包括在成本上一定要有競爭力,這樣業務才有動力去採購;同時部署的可靠性、穩定性、能耗比上也要有競爭力。更重要的是,規模化部署,容器化也是必需的,這樣才能夠好的解決資源的彈性部署。


鍾輝說,以DRN(Deep Ranking Network)加速為例,當時快手商業化部門的排序網絡在業務高峰期出現了抖動,需要採用異構方案來做加速。考慮到其中以計算為主的工作負載佔到了CPU負載的50%,所以團隊把計算這一塊Off-loading到了FPGA上去。”


而在硬件設計上,快手的技術團隊通過將矩陣乘算法映射到FPGA的陣列結構上。但由於用了上千個乘法單元,運行達到幾百兆,DDR根本無法滿足計算帶寬。所以快手採用了Systolic Array(脈動陣列)結構,把輸入數據放到分佈式的SRAM上,從而提供了這個應用要求的算力和帶寬,同時降低了功耗。


英特爾:視頻行業最佳“合夥人”


最終通過對FPGA的定製化開發,快手的FPGA方案與CPU方案相比,延遲降低了約1.5倍,最大吞吐大概提升了1.7倍左右,功耗有接近5倍的降低,從功耗效率來說更是提升了近8倍。


“目前快手已經在數據中心規模化部署FPGA,用於承載商業化業務場景,從FPGA在數據中心落地的角度來講也是屬於業界比較領先的。通過雙方一系列的合作創新,我們能充分感受到英特爾FPGA在數據中心領域更具前沿,相關工具鏈比較成熟。未來我們也會積極結合業務需要探索更多基於英特爾FPGA的應用。”鍾輝最後說。


不難看出,通過英特爾FPGA提供的可定製化的開發能力,為快手在人工智能領域的應用插上了“騰飛的翅膀”,同時更讓快手在AI領域的探索和創新起到了很好的助推價值和作用。


英特爾:視頻行業最佳“合夥人”



從搜狐視頻以及快手的案例中,我們也能看到,在這背後不僅是英特爾與時俱進、響應用戶需求的最新舉措,更是它始終洞察整個視頻行業市場需求變化,在技術和業務上保持高強度自我迭代和進化的重要印證,具體來說:


英特爾:視頻行業最佳“合夥人”


第一,英特爾在技術創新方面深度、廣度和強度,保證了它在技術上的領先性,這為賦能客戶提供了強大的支持。


可以看到,英特爾除了和快手在FPGA領域展開合作之外,還為其提供了OpenVINO、英特爾傲騰數據中心級持久內存、英特爾第二代至強可擴展處理器等技術,並通過MKL-DNN(數學核心函數庫)、高性能編譯器、人工智能框架優化方案等,使得快手的推薦系統使用的AI算法效率大幅提升,而這正是得益於英特爾強大的技術創新能力提供的“技術底座”支撐。


第二,英特爾的優勢不僅建立在對技術的不斷創新與研發上,對視頻行業用戶需求的深刻理解和洞察,又為英特爾的不斷突破提供了新的驅動力。



在搜狐視頻的合作中,英特爾深知CSP對於降低TCO成本的訴求。為此,每年升級換代的處理器都做到了“加量不加價”,如王帥所言:“英特爾每一代的產品升級儘管性能提升很多,但在成本方面並沒有給我們帶來太大的壓力,而如果規模化的採購,其性價比的優勢還會得到更大的凸顯,這也讓我們難以拒絕。”


第三,英特爾還始終以“場景優先”為導向,通過不斷的技術和場景的聯合創新,英特爾更幫助了視頻行業用戶更好的應用了新技術。


例如,利用英特爾的技術,搜狐視頻很好的展開了針對超分辨率、HDR、老劇重生方面的研究;再如,快手日均新增超1500萬部作品,在這背後越來越大的算法模型無疑都為存儲、傳輸和計算帶來了巨大的挑戰,而通過英特爾FPGA提供的異構計算平臺的支撐,快手不但輕鬆化解了所面對的一系列挑戰,更加速了自身在AI領域的探索和落地。


總的來說,視頻行業是一個技術驅動的行業,但也要看到並非每一個視頻平臺都能夠在專注於業務創新的同時,還能夠有足夠的能力走向技術創新,這需要一個在技術上非常領先的合作伙伴,而英特爾強大的技術能力以及對視頻行業的深刻洞察,無疑就是視頻平臺走向未來的最佳“合夥人”。


分享到:


相關文章: