當程序員節遇上RTC,相芯談帶寬紅利時代的AI+CG

北京2019年10月25日 /美通社/ -- 10月24日,恰逢格子襯衫控的節日 -- 程序員節。有超3000多名RTC技術社區開發者齊聚北京,參加全球最大實時音視頻技術盛會之一 -- RTC2019。相芯科技作為RTC開發者大會的老朋友,不僅在展區帶來了視頻AR特效、虛擬形象自動生成、AI虛擬主播、AI虛擬助手等產品解決方案。同時相芯科技的CTO秦昊博士,在【下一代RTC】論壇帶來了關於《智能圖形學的進展及應用》的技術分享,共同探討在帶寬紅利時代,AI+CG技術如何給讓視頻更加智能、更加豐富這一新議題。

當程序員節遇上RTC,相芯和你聊聊帶寬紅利時代的AI+CG

RTC開發者大會的影響力正在不斷壯大,基於技術的發展和對音視頻的需求不斷增加,RTC 大會在議題方向和覆蓋行業等方面一直在不斷更新迭代。2015 年和 2016 年 RTC 大會主要聚焦在實時音視頻、實時通信相關的技術應用。在 2017 年增加了 VR(VR 聲音的泛娛樂探索、VR 多人實時互動中 3D 音場及動作同步工程實踐)、AR(移動直播 AR 技術)相關的技術。到了 2018 年,機器學習(無人駕駛、人工智能與視頻處理)、AR(AR 眼鏡的商業化之路、AR 中的模型同步)等議題也出現在 RTC 大會的日程上。今年的技術分享,囊括編解碼、傳輸架構、QoE、AI(實時超分辨率、語音鑑黃、AI 音頻美化)到 5G、Flutter(Flutter 浪潮下的音視頻研發探索)這些開發者關心的熱點技術。

相芯科技CTO秦昊在RTC 大會上發表演講

5G的速度提升,帶來移動體驗新標準

每一代移動設備的更新都帶來了移動體驗的新跨越。例如,從2G到3G,從IM短信時代進化到手機彩信郵件等時代。4G的引入,則催生了全民直播和流媒體的時代。而5G的到來,可以帶來更多的想象空間。5G將逐步取代現有的4G網絡,將蜂窩實際數據傳輸速度從10-15 Mbps提高到100+ Mbps。更快的速度和更快的連接將為現有的移動體驗創造新的標準,用戶可以體驗低延時、更高清的視頻播放,AR和其他虛擬現實相結合的更豐富的互動形式,以及獲得更多富有創造性的新體驗。5G的到來,讓視頻內容成為互聯網應用的主流,如何能夠低成本、快速地生成更多新奇、有趣的視頻內容成為核心。相芯科技專注的智能圖形學領域,讓AI與CG結合,恰恰是在於解決在消費級領域,普通用戶低門檻地創作和生產新的內容這個問題。

千人千面的卡通形象,AIAR更懂人心

只要一張正面自拍,就能立刻生成一個和自己高度相似的卡通形象,還能實現卡通形象的實時驅動。全自動生成、只需普通攝像頭、支持個性化自定義、可接入各大應用場景……相芯科技將複雜的技術難題解決,將豐富有趣的效果和低門檻的使用條件留給用戶,使得這項虛擬形象自動生成技術可以被接入到各種平臺設備中,可應用於虛擬社交、短視頻、直播等各種應用場景中。

相芯科技個性化虛擬形象智能生成

讓人像美化更智能

傳統的人像美顏方案主要基於圖像處理技術方案,比如美白、磨皮。相芯的人像智能美化方案更多地利用AI技術對人像進行更深入的理解,實現美妝、美髮、美體等立體化全身的美化方案。比如針對美妝,相芯根據需求生成了209個人臉關鍵點點位,使得妝容更加細緻多元化,同時還利用圖像渲染技術,優化口紅、眉毛等視覺表現。針對美髮,則通過神經網絡進行語義,將髮型區域分割出來,進而實現實時變色,並支持任意顏色的自定義設置。針對美體方案,相芯科技基於人體檢測和關鍵點追蹤模型,可以實現實時進行人體微調,實現對肩、胯、腿、身形等部位的細緻美化,達到長腿、瘦身等各種美體塑形效果。

讓視頻生產自動化智能化

只需要輸入一段文字,算法就會自動生成一個虛擬形象有表情有動作的播報視頻。這是相芯科技目前應用於AI虛擬主播、AI智能助手的語音動畫合成技術(STA)。在相芯科技打造的解決方案中,具體虛擬形象類型豐富、人物表現力強、多平臺適配、視頻合成便捷等特性。

目前相芯的AI虛擬主播方案已經在很多主流媒體裡投入使用,如世園會的吉祥物、錢江臺的小范兒、濟南廣電的小沫兒等等。同時相芯的AI虛擬助手解決方案也在汽車智能助手、智能金融、智慧醫療領域投入使用。

RTC展區現場互動人氣高

在整個RTC開發者大會期間,相芯科技在展區帶來了最新的產品demo,讓更多對相芯科技技術感興趣的開發者第一時間實時體驗和交流。在現場生成自己的卡通形象、和智能助手聊天,乾貨滿滿的技術分享和切實的產品體驗讓更多開發者對產品的技術合作表現出濃厚的興趣。

能在消費級領域打造更多有趣的具有創造性的技術,是5G時代互聯網的應用的一個新趨勢,相芯科技專注於人工智能和計算機圖形學的融合與創新,將會為消費級應用打造更多內容創作工具、平臺和解決方案。