Docomo開發並將實施基於5G的8K VR傳輸系統

Docomo開發並將實施基於5G的8K VR傳輸系統

VR直播並不是一個很新鮮的內容,Facebook、YouTube、Twitter等等早就推出了VR直播的功能,各種演唱會、大型比賽的VR直播也比比皆是。戴上VR眼鏡後那種身臨其境的沉浸感,那種能水平360度,垂直360度任意旋轉的體驗,的確帶有一種強烈的衝擊感,更是一種全新的直播互動模式,這也是VR令人著迷的原因。

最近,NTTDocomo公司宣佈已經開發出一種新系統,用於依靠5G的8K VR直播視頻流,相比普通視頻格式的VR直播,畫質將更好、沉浸感也會更上一層樓。這個系統將用於展示360度的現場活動,允許佩戴VR耳機的用戶享受流暢逼真的VR體驗,以觀看現場音樂和體育賽事。

Docomo開發並將實施基於5G的8K VR傳輸系統

一般來說,VR直播主要包括現場全景拍攝、拼接、編碼推流、傳輸分發、終端播放5個環節,現場全景拍攝需要多個鏡頭的組合如有雙目魚眼鏡頭、四目魚眼鏡頭等將現場的全部方向都進行拍攝,拼接則需要把採集到的影像儘量無損的拼接成全景的圖像,剩下的三個環節好理解,就不一一說明了。

一般情況下,VR在視頻質量更高時往往也會更好地工作,因為高質量的圖像意味著更少打破沉浸。但是,當圖像是實時流式傳輸時,高質量的視頻帶來更大的數據量對視頻的傳輸和圖像的處理都是問題,降低延遲會有較大的困難,而對於360度的VR視頻來說,它還有對實時拼接和壓縮的處理需求,這部分同樣需要更高速的處理。因此,Docomo選擇的8K 360度視頻,應該是困難比較多的。

Docomo開發並將實施基於5G的8K VR傳輸系統

在現場拍攝方面,Docomo的系統由五個4K魚眼鏡頭輸出以30fps實時拼接在一起的設備組成,同時採用H.264編碼器用於實時壓縮,而對於編碼、拼接等方面,Docomo的解決方案是使用現場可編程門陣列(FPGA)進行處理,相比cpu的順序操作處理,FPGA的處理是大規模並行的,因此所需要的時間比cpu更少,另外Docomo採用專門開發的算法,以每秒30幀的速度進行高密度應用。

Docomo開發並將實施基於5G的8K VR傳輸系統

高質量的視頻對於傳輸速率的要求很高,對於這點,Docomo選擇依靠5G傳輸,與6家公司進行合作,採用它們在VR和5G方面的高技術,比如採用NEC公司的 “NEC雲系統”,具有很高的機密性和高可用性的5G利用率支持。

除此之外,為了減少傳輸需求,還使用了被Docomo稱為foveated呈現的方法,將視頻劃分為不同的區塊,只有對應於用戶的觀看方向的視頻以完全的高質量呈現,其餘部分的處理不如實現方向精密,節約時間,實際上,這個方法有點像是VR版本的中心渲染。

Docomo開發並將實施基於5G的8K VR傳輸系統

最後,由於實際情況下用於無線通信的無線電波不斷受到障礙物以及反射物體的影響,因此接收錯誤是不可避免的。因此係統在接受端使用了具有錯誤檢測和校正功能的接收設備,使8K視頻能夠以最小的干擾顯示。

Docomo開發並將實施基於5G的8K VR傳輸系統

需要說明的是,Docomo和夏普在去年就已經有過類似的測試,同樣是依靠5G傳輸8K視頻,但並非VR的實時傳輸,顯然,前幾天宣佈實施的這個系統就是去年實驗的一個增強版。由此也可看出,Docomo的8K VR傳輸系統是為將要普及的5G 打造的,它對於通道傳輸速率必須在80Mbps以上的高要求也印證了這一點。

正如開頭所說,VR直播並不新穎,但Docomo的方案的新鮮處在於利用了5G的高速傳輸,將VR的畫質提升到了更高一層的水平,帶給觀眾更好的體驗感,並且基本解決了過大的數據量在傳輸和解碼過程當中的問題,按照其新聞稿的說法,這是世界上第一個360° 8K VR視頻傳輸系統。

Docomo開發並將實施基於5G的8K VR傳輸系統Docomo開發並將實施基於5G的8K VR傳輸系統


分享到:


相關文章: