全國範圍內，一場關於5G建設的產業大潮被按下加速鍵。作為5G率先落地的重要應用領域，以4K為代表的超高清視頻成為產業鏈集中佈局的新方向。與此同時，5G+4K為大屏電視的未來形態插上想象的翅膀，為IPTV、OTT提供更多的智能賦能新動能。
5月8-9日，以“啟智 • 視聽”為主題的流媒體網第十七屆論道暨中國IPTV/OTT視聽產業高峰論壇在山東濟南舉行。8日下午，在主題為“探索*求新5G+4K” 的分論壇上，福建帝視信息科技有限公司首席科學家李根進行了主題為《人工智能在視頻增強領域中的應用與挑戰》的演講。
大家下午好，我是帝視科技的李根。
今天很高興在這裡跟大家分享帝視科技的基於人工智能技術的超高清視頻增強，視頻修復研發成果。
我的報告內容分四個部分：首先簡單介紹我們公司的情況，之後跟大家探討超高清視頻行業的現況，接下來簡單介紹基於人工智能技術的超高清視頻增強和視頻修復技術，最後介紹帝視科技視頻轉碼解決方案，希望我的報告對IPTV/OTT行業裡視頻內容生產上有一些幫助。
關於帝視科技
帝視科技成立於2016年，是一家致力於引領機器學習和計算機視覺前沿技術研究與開發的人工智能公司, 利用人工智能技術來實現圖片和視頻的深度壓縮和視覺增強，提供更加高效、低成本的圖片和視頻傳輸解決方案。
近兩年半的時間內，帝視科技已有一名國家級人才，以及三名省級人才，已經申報了近30多項國家發明專利和軟著。2018年，我們公司獲得了日本軟銀領投的A輪融資。
近兩年，我們公司獲得很多榮譽，包括英偉達中國最佳初創人工智能公司五強，網易創業家大賽廈門賽區的冠軍，全國總決賽的亞軍，創響福建中小企業創新創業大賽亞軍。我們團隊入選了福建省百人計劃。
經過幾年的發展，視頻內容已經從標清到高清，再到超高清時代。在國內，1992年推出標清視頻標準，也就是DVD/VCD的時代，視頻的物理分辨率在720P以下。在高清視頻時代，視頻的物理分辨率已經超過720或者1080P 。
國家廣電總局發佈了高清視頻標準。2008年，北京奧運會全程都是以高清分辨率進行比賽直播。今年開始，機頂盒不支持高清以下的分辨率。也就是說，今後大家無法通過機頂盒收視720P 以下的視頻內容。
接下來進入超高清的時代。最大的變化是它的分辨率超過了1080P，國家廣電總局先後發佈了4K超高清電視選購標準和超高清視頻產業發展行動計劃。大家看一下，國內發表的《超高清視頻產業發展行動計劃(2019-2022年)》的大致內容，國內是4K先行，兼顧8K的總體技術路線。到2020年，超高清視頻產業總體規模會超過4萬億元。4K電視終端全面普及，符合高動態範圍(HDR)、寬色域、三維聲、高幀率、高色深要求的4K電視終端銷量佔電視總銷量的比例超過40%;8K關鍵技術產品研發和產業化取得突破，8K電視佔比要達到5%。現在全國有很多電子廠商在推出8K電視，包括夏普、三星、索尼、海信、創維、TCL等。
在政府大力扶持下，超高清市場還是面臨著視頻內容匱乏，網絡承載有限，標準規範尚未完善的問題。
前面幾位嘉賓也提到，即將會普及5G網絡。另外，很多國家都在大力支持4K/8K的視頻標準。所以，網絡和標準化問題會有非常大的改善。
超高清視頻內容匱乏的問題可能很難在短時間內通過視頻採集，編輯等方式解決。因為高質量的視頻內容製作有周期長、成本高、成片率低的缺點。
因此，我們公司產品研發路線非常明確，通過基於人工智能的視頻增強技術解決現階段超高清視頻內容匱乏的問題。
什麼是超高清視頻?
那我們經常被問到什麼叫超高清視頻?超高清視頻是視頻的面積，體積上具有更高級別的要求。視頻面積上，提升到4K/8K高分辨率，目的在於，可以提高視頻清晰度。
在色深聲方面，提高到10位/12位。色深體現在顏色漸變會更平滑。色域採用 BT2020的寬色域，其效果更接近真實的場景的顏色。
除此之外，超高清視頻採用高動態範圍HDR，HDR的好處在於可以提升陰暗對比度會。 視頻體積上也有改進。視頻的幀率提高到60幀或者120幀。高幀率好處在於視頻播放更流暢。
我們帝視科技，超高清視頻轉碼時，同時考慮超高清五項標準。因為時間關係，這裡主要簡單介紹視頻超分辨率和高幀率重製算法。
視頻超分辨率，基於人工智能技術實現超分辨率的算法可以分為六大類。
第一種，採用傳統差值放大後提取圖像細節特徵，第二種，低分辨率圖像中直接提取細節特徵，然後採用特徵層進行放大。這樣的好處是可以得到加速的效果。第三種，採用漸進式的放大，得到超大倍率的超分效果。
第四種，採用多次特徵層上採樣和下采樣。第五種，引用了語義信息，較為相似特徵的不同類別的目標，採用不同的模型，從而得到更好的超分效果。
另外一種，引用了強化學習，但是，這些方法都存在計算代價太大，很難應用於工業界。
因此，我們公司針對不同客戶，提出兩種策略。針對實時性要求不高的客戶，提供效果優先的離線轉碼策略，另外針對實時性要求較高的互聯網產業的客戶提供效率優先的輕量級移動端模型。
離線轉碼模型是採用密集連接的方式實現視頻超分，移動端模型採用深度可分離卷積和循環密集連接的策略。
以上兩種算法都已得到國際頂級學術會議的認可，業界性能指標評估中，都獲得不錯的效果。
給大家演示高清轉超高清的效果。左邊是1080P的視頻，右邊是局部區域的視頻內容。 很容易看出超分處理後的效果明顯好於傳統插值放大的效果，很多細節表現的更清楚。
高幀率，可分為四種類型。第一種，採用了光流信息，第二種採用光流和深度信息。
第三種是採用雙向光流信息，第四種是端到端實現高幀率重製效果。
一般情況下，很難獲取光流和深度信息，因此，我們端到端的訓練策略，改進了高幀率重製算法，從而得到非常好的高幀率重製效果。
怎樣提高超高清視頻質量?
視頻內容可能會受到某些因素，直接影響視頻畫質。
比如為了降低帶寬成本，互聯網行業傳輸視頻的時候，降低碼率，這直接影響視頻質量。
視頻內容會受到採集設備的影響，不同品牌的拍攝設備的像素密度都存在一些差異性，像素密度低，採集的視頻內容可能會存在失真現象。拍攝經驗不足，也會導致拍攝內容中存在一些缺陷。
那先給大家分享，帝視科技如何去解決存在壓縮偽影的視頻呢?首先存在這些視頻壓縮偽影的視頻進行去壓縮偽影，採用視頻的空間信息和時序信息去除壓縮偽影，其後，在進行視頻超分，從而得到去除偽影區域的汙點肯和毛刺。
另外，跟華為mate10去壓縮偽影效果對比，在計算複雜度是華為的16%的情況下，我們只利用普通的GPU上去偽影的效果超過華為的效果。
接下來，大家可能碰到用手機夜間拍攝時，光通量不足的情況，這會採集的視頻中引入很多噪聲，直接用傳統方式視頻降噪，會導致很多細節會變成模糊。
我們帝視科技採取基於人工智能的視頻降噪的方式，自適應的判斷噪聲區域和噪聲強度。
這兩個例子中，我們可以看出降噪算法的魯棒性，與左邊視頻相比，右邊視頻的噪聲強度更大。但是我們只利用一種降噪算法就能處理噪聲區域的汙點。
接下來看一下老舊影片的降噪效果，很容易發現老舊影片實例中也能得到非常好的降噪效果。
色彩增強，視頻例子中可以看出，我們帝視科技的色彩增強後的色彩，亮度、對比度、飽和度更討人喜歡。
視頻上色，我們的視頻上色算法採用了注意力機制，語義信息和調色板。以下是黑白圖片上色的效果。不僅能處理風景，而且也能處理人物的場景。接下來看一下，羅馬假日視頻中的上色效果，目前視頻上色還存在一些時序不一致的問題，我們還在優化算法，有待提升視頻上色效果。
簡單介紹幾種基於人工智能的視頻增強及修復的技術，那我們公司怎麼利用這些視頻增強及修復功能呢?
怎樣實現傻瓜式的超高清視頻轉碼?
考慮到客戶的需求，帝視科技儘量把超高清視頻轉碼服務，做成非常傻瓜式的轉碼操作平臺。
我們公司提出AI 4K重製工具包，工具包中含有非常多視頻增強及修復功能，包括超高清標準化功能，視頻內容分析，視頻增強及修復功能，客戶可以根據需求手動或者自動選擇幾個參數，帝視科技轉碼服務器自動配置轉碼任務，並進行視頻轉碼。
我們的產品是主要通過兩種方式面向客戶：
第一種是視頻增強轉碼服務器的形式，給客戶提供標清轉高清、高清轉4K的服務，視頻增強轉碼服務器中就有 AI4K工具。
另外一種是公有云的形式，通過視頻雲轉碼平臺進行視頻轉碼。
接下來，我們已經向廣電行業，互聯網行業和終端行業的幾家公司提供視頻轉碼服務，包括河南電視臺，福建電視臺，百度，芒果TV等企業。
謝謝大家!
更多精彩行業資訊請關注流媒體網微信公眾號和今日流媒體！
閱讀更多 流媒體網 的文章
