從邊界到文本—一種任意形狀文本的檢測方法

作者 | 王豪、盧普

本文來自：

本文對華中科大、阿里巴巴合作完成的、發表在AAAI 2020的論文《All You Need Is Boundary: Toward Arbitrary-Shaped Text Spotting》進行解讀。

論文鏈接：https://arxiv.org/pdf/1911.09550.pdf

該論文提出了用邊界點來表示任意形狀文本的方法，解決了自然場景圖像中任意形狀文本的端到端識別問題。如圖1所示：

圖 1：文本區域表示的兩種方法

現有方法用外接四邊形框來表示文本邊界（圖1，（a）），通過RoI-Align來提取四邊形內的特徵（圖1，（b）），這樣會提取出大量的背景噪聲，影響識別網絡。利用邊界點來表示任意形狀文本有以下優勢：

• 邊界點能夠描述精準的文本形狀，消除背景噪聲所帶來的影響（圖1，（c））；

• 通過邊界點，可以將任意形狀的文本矯正為水平文本，有利於識別網絡（圖1，（d））；

• 由於邊界點的表示方法，識別分支通過反向傳播來進一步優化邊界點的檢測。

一、研究背景

文本檢測和識別常作為兩個獨立的子任務進行研究，但事實上，兩者是相互關聯並且能相互促進的。

近期的一些工作開始

同時一些方法使用字符分割的方法進行識別，這使得識別器失去序列建模能力，並且需要額外的字符標註，增加了識別的訓練難度以及標註成本。

二、原理簡述

雖然邊界點的預測理論上可以直接從水平候選框中預測（如圖3（d）所示），但是自然場景中的文本呈現各種不同的形狀、角度以及仿射變換等，這使得直接從水平候選框中預測邊界點變得十分困難，不具有穩定性。

因此，我們在文本實例的最小外接四邊形上預測邊界點，這樣可以將不同角度、形狀的文本旋轉為水平形狀，在對齊後的文本實例上預測邊界點對於網絡更為高效，容易。

具體方法細節如圖2所示，

圖2. 總體框架

本文的方法的包含三個部分：多方向矩形包圍框檢測器(the Oriented Rectangular Box Detector)，邊界點檢測器(the Boundary Point Detection Network)，以及識別網絡(the Recognition Network)。對於多方向矩形包圍框檢測器，該文首先使用RPN網絡進行候選區提取。

為了產生多方向的矩形框，在提取出的候選區對目標矩形框的中心偏移量、寬度、高度和傾斜角度進行迴歸。獲取了矩形包圍框後，利用矩形框進行特徵提取，並在提取的的候選區中進行文字邊界點的迴歸。得到預測的邊界點後，對文本區域的特徵進行矯正，並將矯正的特徵輸入到後續的識別器中。

圖3：迴歸過程圖示

對於邊界點檢測網絡，如圖3(c)所示，該方法根據默認錨點（設定的參考點）進行迴歸，這些錨點被均勻的放置在最小矩形包圍框的兩個長邊上，同時從文本實例的每個長邊上等距採樣K個點作為文字的目標邊界點。本文采用預測相對偏移量的方式來獲取邊界點的座標，即預測一個的向量(個邊界點)。對於邊界點

可從預測的偏移量獲取，

，其中

代表定義的描點。對於識別網絡，識別器使用矯正的特徵預測出字符序列。首先，編碼器將矯正的特徵編碼為特徵序列

。 然後基於注意力的解碼器將F轉化為字符序列

, 其中T是序列長度。當為第t時，解碼器通過隱藏層狀態

和上一步的結果

預測當前步的結果。本文的方法採用完全端到端的訓練方式，網絡的損失函數包含四個部分，

, 其中

為RPN的損失，

為多方向矩形框迴歸的損失值，

為邊界點回歸的損失值，

為識別網絡的損失。三、主要實驗結果及可視化效果

從表 1來看，

表 1：在全部文本上的結果。“ P”，“ R”和“ F”分別表示精度，召回率和F量度檢測任務。“ E2E”表示端到端，“ None”表示沒有任何詞典的識別，“ Full”詞典包含測試集中的所有單詞。

文中的方法在曲形數據集上取得了優異的性能，大幅領先先前方法。總結來看，性能的提升主要來源於三點：

1) 相對於基於分割的方法MaskTextSpotter, 本文的識別器採用基於注意力的解碼器，能夠捕獲字符之間的語義關係，而MaskTextSpotter獨立地預測每個字符;

2) 相對於其他方法，本文使用邊界點對文本區域的特徵進行矯正，識別器擁有更好的特徵；

3) 得益於更好的識別結果，由於檢測和識別共享特徵，檢測的結果受特徵影響得到進一步提升。

對於Table 2，

表2、ICDAR2015 和 ICDAR2013（DetEval）的結果。“ S”，“ W”和“ G”分別表示使用強，弱和通用詞典進行識別。*表示使用MLT2017的訓練數據集進行訓練。

文中的方法在ICDAR15多方向數據集上取得較好的結果，得益於序列識別器，在只使用通用字典的情況下高於先前的結果。在ICDAR13水平數據集上，本文的方法未使用字符標註，也取得較好的結果。

圖4：在Total-Text、ICDAR2015和ICDAR2013上的文本發現結果示例。

圖4 展示了一些可視化的結果圖。該方法能處理任意形狀的文本，並且能很好地處理垂直文本，能夠正確獲取豎直文本的閱讀順序。

四、總結及討論

本文提出了一個以邊界點表示任意形狀文本的端到端網絡，實驗證明了此種方法在端到端識別任務上的有效性和優越性。檢測任務和識別任務均能從邊界點這種表示形式中受益：

1）由於邊界點的表示是可導的，因此識別分支的導數回傳會進一步優化檢測結果；

2）使用邊界點對不規則文本的特徵進行矯正能移除背景干擾，可以提升識別性能。

更多AAAI 2020信息，將在「AAAI 2020 交流群」中進行，加群方式：添加AI研習社頂會小助手（AIyanxishe2），備註「AAAI」，邀請入群。

閱讀更多 AI科技評論 的文章

關鍵字: 文本 可視化技術 任意