Adobe用AI對視頻對象、場景、屬性和動作進行分類

Adobe用AI對視頻對象、場景、屬性和動作進行分類

用戶生成內容(UGC)被稱為是營銷人員的天賜之物。根據Adweek的數據,64%的社交媒體用戶在做出購物決定前會查看UGC,而UGC視頻的瀏覽量是品牌視頻的10倍。然而,UGC存在一個問題:營銷人員常常需要花費很多時間來篩選提交的內容,以找到符合給定主題的相關、可重定向的視頻片段。Adobe今天推出的視頻智能標記,利用人工智能對視頻對象、場景、屬性和動作進行分類,可極大地加速這一過程。

視頻智能標記是Adobe內容管理解決方案Experience Manager (AEM)的一項功能,由Adobe Research和Adobe搜索團隊使用Adobe的Sensei機器學習平臺構建,它能為每個剪輯生成兩組標記,其中一個可描述大約150,000類對象、場景和屬性,第二個對應於諸如飲酒、跑步和慢跑之類的動作。

作為視頻基礎技術的智能標籤建立在AEM的圖像自動標記器的基礎上,該標記器針對Adobe Stock的圖像集合進行訓練。系統攝取目標視頻中的單個幀來產生第一組標籤。第二組是標記算法的產物,該算法經過訓練,用於管理帶有附帶標籤的“豐富動作”視頻,這些標籤是從Adobe內部視頻數據集的元數據中提取出來的。它應用於視頻中的多個幀,並將結果聚合在一起,以生成最終的動作標記集。

每個標記都有一個從0到100的分數,這是對系統預測準確度的估計。AEM客戶可以標記系統不正確的標籤,這將從搜索索引中刪除這些標籤,並生成分離的記錄。錯誤標記資產的日誌作為反饋發送給調節器。

據AEM產品經理聖地亞哥·龐博(Santiago Pombo)介紹,智能視頻標記新穎的地方在於,它使用戶能夠基於資產內容創建搜索規則和過濾器,而不僅僅是手動標籤和描述。此外,它允許為特定標記或標記集指定最小置信度閾值,從而確保相關資產選擇的準確性。

設計人工智能系統並非輕而易舉。AEM客戶一般平均每秒執行10次搜索查詢,這對延遲造成了很大的挑戰。Adobe的研究團隊不得不設計一個註釋管道來處理大量的用戶生成的內容。結果相當理想,視頻智能標籤可以在4秒或更短的時間內處理視頻。

視頻智能標記目前已向對企業用例感興趣的精選參與者群體提供,Adobe未來的工作將集中在擴大該系統能夠識別的視頻量上。當前的迭代以60秒的長度對剪輯進行分類。“當我們在權衡利弊的時候,我們認為我們要優化80%的用例……但是我認為下一步是……把它增加到10分鐘。”龐博說。

【數字敘事 黎霧】


分享到:


相關文章: