計算機視覺應用之圖像檢索任務簡單介紹

圖像檢索算法因何而起?

網絡時代,隨著各種社交網絡的興起,網絡中圖片,視頻數據每天都以驚人的速度增長,逐漸形成強大的圖像檢索數據庫。針對這些具有豐富信息的海量圖片,如何有效地從巨大的圖像數據庫中檢索出用戶需要的圖片,成為信息檢索領域研究者感興趣的一個研究方向。

計算機視覺應用之圖像檢索任務簡單介紹

什麼是圖像檢索算法?

圖像檢索,簡單的說,便是從圖片檢索數據庫中檢索出滿足條件的圖片,圖像檢索技術的研究根據描述圖像內容方式的不同可以分為兩類:

一類是基於文本的圖像檢索技術,簡稱TBIR,

一類為基於內容的圖像檢索技術,簡稱CBIR。

計算機視覺應用之圖像檢索任務簡單介紹

隨著圖像檢索技術的發展和逐漸成熟,已經形成了多個基於圖像檢索的研究方向和應用場景,並且投入實用,在遙感影像、安防監控、檢索引擎、電子商務、醫學等方方面面起著十分重要的作用。

兩類圖像檢索技術

基於文本的圖像檢索(TBIR)技術,其主要原理為利用文本描述,如文本描述圖片的內容、作者等等的方式來檢索圖片;

基於圖像的內容語義的圖像檢索技術(CBIR),利用圖片的顏色、紋理及圖片包含的物體、類別等信息檢索圖片,如給定檢索目標圖片,在圖像檢索數據庫中檢索出與它相似的圖片。

基於圖像的內容語義的圖像檢索包括相同物體圖像檢索和相同類別圖像檢索,檢索任務分別為檢索同一個物體地不同圖片和檢索同一個類別地圖片。例如,行人檢索中檢索的是同一個人即同一個身份在不同場景不同攝像頭下拍得的圖片屬於相同物體的圖像檢索,而在3D形狀檢索中則是檢索屬於同一類的物品,如飛機等。

計算機視覺應用之圖像檢索任務簡單介紹

圖像檢索技術的步驟

圖像檢索技術主要包含幾個步驟,分別為:輸入圖片、特徵提取、度量學習、重排序。

特徵提取:即將圖片數據進行降維,提取數據的判別性信息,一般將一張圖片降維為一個向量;

度量學習:一般利用度量函數,計算圖片特徵之間的距離,作為loss,訓練特徵提取網絡,使得相似圖片提取的特徵相似,不同類的圖片提取的特徵差異性較大。

重排序:利用數據間的流形關係,對度量結果進行重新排序,從而得到更好的檢索結果。

計算機視覺應用之圖像檢索任務簡單介紹

深度學習與圖像檢索

隨著深度學習的引入,基於深度學習的圖像檢索技術,主要是將深度學習方法應用在圖像檢索中的特徵提取模塊,利用卷積神經網絡提取圖片特徵。主要步驟即給定一張圖片,通過卷積神經網絡對圖片進行特徵提取得到表徵圖片的特徵,利用度量學習方法如歐式距離對圖片特徵進行計算距離,對圖片距離進行排序,得到初級檢索結果,再根據圖片數據的上下文信息和流形結構對圖像檢索結果進行重排序,從而提高圖像檢索準確率,得到最終的檢索結果。


分享到:


相關文章: