Target localization algorithm for strawberry robot-arm based on prior knowledge
0 引言
早期的草莓採摘機械一般將果實和莖葉一起收穫，然後再由人工將果實和莖葉進行分離。1996年，日本率先發明瞭利用機器視覺識別採摘果實的機器手[1]。基於機器視覺技術的機器手採摘草莓的作業流程一般是，先尋找成熟的草莓，在不破壞果實的前提下將其與枝椏分離，然後放到托盤中[2]。實現這一流程的自動化需要以下幾個步驟：(1)根據草莓的成熟度判斷是否可以採摘；(2)確定待採摘草莓的位置；(3)切斷草莓的果梗，並接住草莓；(4)將草莓放置在盤中。這4步中的前兩步屬於定位步驟，在整個機器手的設計中具有重要地位。因此，如何設計精準的定位算法是草莓機器手設計的關鍵。目前主流的定位算法大多基於機器視覺技術。
由於要求機器手能分辨草莓的成熟度，因此傳統基於機器視覺的定位算法通過判斷草莓的顏色來進行識別，但單純根據顏色進行判斷可能會誤將某些顏色相近的其他果實作為識別目標，比如小番茄等，因此又出現了基於紋理特徵進行識別的支持向量機（SVM）分類算法[3]。但基於SVM的分類算法需要預先設計特徵向量，人工設計的特徵向量難以準確描述草莓的外觀紋理特徵，因此誤識率很高。
本文研究開發一款實用的採摘草莓機器手，提出了一種結合顏色先驗知識和深度學習的識別算法，可以精確地識別草莓。由於草莓的成熟度可以通過顏色進行預分類，為此先將機器手獲取的圖片轉換至HSV空間[4]，並對H通道進行分割。分割後的候選目標區域有多個，為了得到最精確的定位目標，將多個候選區域輸入預訓練的深度卷積網絡（CNN）進行識別，將識別精度最高的候選目標作為最終的定位結果輸出。在對CNN進行訓練時，選擇的正樣本包括各種形態的成熟草莓，為了避免機器手採摘不完整的候選目標，在負樣本中放入大量的草莓局部圖片。實驗證實，本文基於顏色先驗知識的算法可以得到準確的定位結果。
1 草莓機器手的結構設計
機器手本體主要由3條機器臂和1根裝有電纜的軟管組成，如圖1所示。兩條機械臂在同一平面，負責機器手在水平面直線伸縮動作，另一根機械臂在垂直面掃描運動。為了簡化控制和識別，採用三機械臂系統，把柱座標轉化成直角座標，便於準確定位。夾取部分由機器手組成，夾住草莓果實果柄部分，採摘時，機械手伸出摘下。機械手動力由舵機控制提供。行走系統設計成四輪小車，設計了減震系統，提高機器手穩定性和越野性。機器手智能識別算法是研究的關鍵，在基於顏色先驗知識進行預分割的基礎上，採用深度學習輔助草莓機器手進行目標定位，可以有效精確地識別草莓，確保機器手準確採摘。
2 基於顏色先驗知識的草莓候選目標分割
本文先基於HSV顏色模型對草莓圖像進行分割，以得到草莓的候選區域，機器手獲取的圖像顏色空間為RGB，因此先通過式(1)轉換為HSV空間[4]。
草莓機器手需要根據草莓顏色確定草莓的成熟度，根據統計[2]，成熟草莓顏色值h位於[0，5]和[150，220]之間，因此根據式(2)對圖像進行閾值分割得到二值化圖像。
基於h通道進行二值化後，相鄰的候選區域有一定的粘連，再通過形態運算處理得到最終的候選區域結果[5]，如圖2所示。
圖2（e）通過對圖2（d）二值化區域取最大外接矩形得到，從圖2（e）可見，由於採用了形態濾波，即使草莓部分被莖葉遮擋，也可以得到完整草莓候選區域。
3 基於深度卷積網絡的目標識別定位
基於顏色先驗知識得到目標候選區域後，草莓機器手需要在候選目標中挑選最符合要求的區域作為採摘的對象。傳統做法是計算草莓的紋理特徵，如共生矩陣等人工設計的特徵向量，而後訓練支持向量機（SVM）作為分類器進行分類[3]，但人工設計的特徵難以涵蓋草莓的多種形態，因此SVM的分類效果較差。
隨著深度學習技術的發展，深度卷積網絡在圖像分類中展現出了極大的優勢
[6]：不需要人工定義特徵；圖像的特徵在學習的過程中自動提取出來；隨著訓練樣本的增加，卷積網絡可以學習到精準的目標特徵。機器手獲取的圖像中草莓目標較小，因此本文在訓練模型時，先基於Cifar10數據集對卷積網絡進行訓練，而後用訓練得到的網絡參數初始化本文的卷積網絡。為了適應Cifar10卷積網絡參數，在對候選目標進行分類識別時，先將候選目標圖像縮放到標準尺寸32×32，具體步驟如下：
(1)用Cifar10數據集對卷積網絡進行預訓練；
(2)用步驟(1)得到的網絡參數初始化本文的卷積網絡，為了減少訓練參數，同時由於候選目標較小，本文所用卷積網絡與步驟(1)相比少了一層全連接層；
(3)基於草莓樣本對步驟(2)初始化後的卷積網絡進行微調；
(4)將基於顏色先驗知識分割得到的目標候選區域輸入步驟(3)得到的卷積網絡進行識別；
(5)選擇步驟(4)中識別概率最大的候選區域作為最終的定位結果輸出。
本文采用的訓練卷積網絡和識別卷積網絡如圖3所示。
本文所用的訓練樣本和驗證樣本各取600張，正負樣本各300張，為了避免因樣本較少而導致的過擬合現象[7]，先採用Cifar10數據集進行網絡訓練，用訓練後的網絡參數來對圖3(a)的訓練模型進行初始化，再用本文所採集的樣本進行微調訓練。由於文中所用樣本較少，因此在用圖3網絡進行迭代訓練時每次輸入10張正負隨機樣本，迭代30次剛好覆蓋整個數據集。
由於草莓機器手採摘的草莓目標必須滿足預設的草莓標準，因此本文訓練時採用的草莓樣本都是符合設定標準的圖片，而在負樣本中包括了大量不符合預設標準的負樣本圖片，如不完整草莓、與草莓相似的植物、草莓莖葉等，部分樣本如圖4所示。
4 仿真結果與分析
為了驗證本文算法，先用Cifar10數據集迭代訓練10 000次[8]，由於數據比較多，為了提高訓練速度，訓練時選取學習率為0.001，再用本文所用的訓練樣本和驗證樣本對模型進行微調，由於本文樣本偏少，因此學習率取0.000 1。Cifar10模型訓練精度和損失曲線如圖5所示，用本文數據進行微調後的模型精度和損失曲線如圖6所示。
從圖5可見，Cifar10訓練100 00次後，精度可以達到0.73，但這樣的精度無法適用於草莓機器手。對網絡模型進行微調的訓練結果如圖6所示，在經過400次迭代後，精度在本文的驗證樣本中即可以接近1.0，而損失函數也在400次迭代後接近0，因此本文所用的微調模型完全可以達到草莓機器手所需要的精度。
圖7中展示了兩幅草莓機器手採集的圖片經過顏色分割並輸入圖3（b）卷積網絡識別後的輸出結果。從圖中可以看到，識別的結果基本符合人對成熟草莓的主觀定義，最符合主觀標準的識別結果甚至可以達到1.000 0，即使存在多個符合人眼標準的候選區時，本文所提出的算法也可以給出客觀的打分排序。對於圖中出現的粘連目標，本文算法也可以分別給出客觀的識別結果。
本文算法基於C++語言實現，所運行平臺配置為：CPU為i5處理器，內存4 GB，所用GPU卡為Nvidia quadro k620，顯存2 GB。一幅分辨率為1 280×960的圖片顏色分割需要80 ms，對候選區域的識別需要320 ms，因此，本文算法完全可以滿足草莓機器手的實時性要求。
5 結束語
本文設計了一種基於顏色先驗知識和深度學習的草莓機器手識別算法，經過實驗驗證，本算法可以滿足機器手的精度和實時性要求。但由於樣本有限，對一些特殊樣本無法涵蓋，導致機器手偶然會出現定位失敗的情況，後續可以通過適當增加樣本規模來解決。
參考文獻
[1] 徐世亮.農業採摘機器人設計與研究[J].硅谷，2014，156(12)：21-22.
[2] 張凱良，楊麗.高架草莓採摘機器人設計與試驗[J].農業機械學報，2012，43(9)：165-171.
[3] 蘇慧嘉，鄭繼明.結合遊程長度與共生矩陣的圖像拼接篡改檢查方法[J].計算機科學，2017，44(6)：150-154.
[4] 褚江，陳強.自然圖像顏色空間統計規律性研究[J].計算機科學，2014，41(11)：309-312.
[5] 周開軍，周鮮成.基於多變量屬性分類的圖像形態濾波方法研究[J].儀器儀表學報，2015，36(8)：1735-1743.
[6] KRIZHEVSKY A，SUTSKEVER I，HINTON G E.ImageNet classification with deep convolutional neural networks[J].Advances in Neural Information Processing Systems，2012，2：1097-1105.
[7] HENTSCHEL C，WIRADARMA T P，SACK H.Fine tuning CNNS with scarce training data-Adapting imagenet to art epoch classification[C].IEEE International Conference on Image Processing，2016，8：3693-3697.
[8] 殷瑞，蘇松志，李紹滋.一種卷積神經網絡的圖像矩正則化策略[J].智能系統學報，2016，11(1)：43-48.
作者信息:
李豔文1，崔 揚2，李立新3
（1.哈爾濱工業大學 機電工程學院，黑龍江 哈爾濱150001；
2.杭州電子科技大學 計算機學院，浙江 杭州310018；3.中電海康集團，浙江 杭州310012）
閱讀更多 電子技術應用 的文章
