EasyDAM_V2零數(shù)據(jù)標(biāo)注實現(xiàn)果實識別模型構(gòu)建助力現(xiàn)代化農(nóng)業(yè)研究

視覺檢測技術(shù)在現(xiàn)代化智慧果園中有著重要的應(yīng)用需求和發(fā)展意義。通過視覺檢測技術(shù)獲取圖像中果實的位置和類別信息，是果實定位、果實估產(chǎn)和果實自動化采摘等果園智能化工作的技術(shù)基礎(chǔ)。當(dāng)前，基于深度學(xué)習(xí)的目標(biāo)檢測技術(shù)具有檢測精度高、模型魯棒性好等優(yōu)點，已逐漸替代傳統(tǒng)視覺檢測方法。然而基于深度學(xué)習(xí)的果實檢測技術(shù)在實際應(yīng)用過程中，多數(shù)需要制作大量帶有標(biāo)簽數(shù)據(jù)的果實數(shù)據(jù)集支撐模型的訓(xùn)練學(xué)習(xí)，當(dāng)實際任務(wù)中果實采集場景或者果實類別發(fā)生更改時，通常需要重新制作相應(yīng)果實數(shù)據(jù)集并訓(xùn)練新的檢測模型，大量的數(shù)據(jù)集標(biāo)注工作導(dǎo)致整個工作過程耗時耗力、效率低下。因此，建立一種減少果實數(shù)據(jù)集標(biāo)注工作量且實現(xiàn)果實高精度檢測的方法具有迫切的需求。
 

近日，Plant Phenomics在線發(fā)表了北京工業(yè)大學(xué)信息學(xué)部張文利教授團隊與東京大學(xué)農(nóng)學(xué)部郭威副教授團隊合作完成的題為EasyDAM_V2: Efficient Data Labeling Method for Multishape, Cross-Species Fruit Detection的研究成果。該研究提出一種不同類別存在部分形狀差異的果實數(shù)據(jù)集之間的標(biāo)簽數(shù)據(jù)轉(zhuǎn)換方法，該方法在基于一套已標(biāo)注源域果實數(shù)據(jù)集基礎(chǔ)上，可自動生成不同類別的無標(biāo)注目標(biāo)域果實數(shù)據(jù)集的標(biāo)簽數(shù)據(jù)，并獲取高檢測精度的目標(biāo)域果實檢測模型，有效減少數(shù)據(jù)集標(biāo)注工作量。

該團隊前期研究成果“Easy domain adaptation method for filling the species gap in deep learning-based fruit detection”可應(yīng)用于實現(xiàn)形狀近似的不同類別果實數(shù)據(jù)集的標(biāo)簽轉(zhuǎn)換，基于前期研究基礎(chǔ)上，本次工作進一步深入研究形狀存在部分差異的不同類別果實數(shù)據(jù)集標(biāo)簽數(shù)據(jù)的高精度轉(zhuǎn)換。
 

該研究提出并應(yīng)用生成對抗網(wǎng)絡(luò)Across-CycleGAN，學(xué)習(xí)不同域中不同類別果實的形狀特征差異，訓(xùn)練模型在不同類別且形狀存在部分差異的果實圖像域之間學(xué)習(xí)圖像分布映射關(guān)系，將源域果實圖像轉(zhuǎn)換生成與目標(biāo)域果實圖像高度相似的仿真圖像數(shù)據(jù)，并結(jié)合源域果實數(shù)據(jù)集標(biāo)簽數(shù)據(jù)構(gòu)建已標(biāo)注仿真果實數(shù)據(jù)集。文中實驗以柑橘作為源域果實，火龍果及芒果等作為目標(biāo)域果實，實現(xiàn)柑橘到火龍果及芒果等果實的圖像轉(zhuǎn)換操作。（圖1）
 

圖1 源域果實圖像和目標(biāo)域果實圖像（基于Across-CycleGAN生成）：(a)源域真實柑橘果實圖像；(b)~(f)目標(biāo)域仿真果實圖像：果實類別分別為火龍果、芒果、梨、獼猴桃、青椒。

由于仿真果實圖像與真實目標(biāo)域果實圖像具有高度相似的特征，因此該研究通過采用已標(biāo)注仿真果實數(shù)據(jù)集訓(xùn)練果實檢測模型OrangeYolo，可應(yīng)用于目標(biāo)域果實檢測框的獲取，并將檢測框信息轉(zhuǎn)換為相應(yīng)果實圖像偽標(biāo)簽數(shù)據(jù)。
 

接著，該研究提出偽標(biāo)簽自適應(yīng)閾值選擇策略，通過動態(tài)調(diào)整偽標(biāo)簽數(shù)據(jù)置信度閾值，自適應(yīng)調(diào)整檢測模型置信度閾值參數(shù)，有效降低噪聲偽標(biāo)簽數(shù)據(jù)（誤標(biāo)）的影響；并通過循環(huán)微調(diào)果實檢測網(wǎng)絡(luò)和更新偽標(biāo)簽數(shù)據(jù)，逐步提高果實檢測網(wǎng)絡(luò)對目標(biāo)域果實的檢測性能，最終獲取目標(biāo)域中更高質(zhì)量的果實圖像標(biāo)簽數(shù)據(jù)（圖2），實現(xiàn)無標(biāo)注目標(biāo)域真實果實數(shù)據(jù)集標(biāo)簽數(shù)據(jù)的高效獲取。
 

圖2 真實場景下不同類別果實圖像檢測結(jié)果示意圖：(a)和(b)分別表示火龍果及芒果果實圖像檢測結(jié)果；其中藍(lán)框表示模型檢測框，可應(yīng)用于轉(zhuǎn)換生成果實圖像相應(yīng)標(biāo)簽數(shù)據(jù)，實現(xiàn)果實數(shù)據(jù)集的自動標(biāo)注功能

該研究通過Across-CycleGAN構(gòu)建已標(biāo)注目標(biāo)域仿真果實數(shù)據(jù)集，進一步采用偽標(biāo)簽自適應(yīng)閾值選擇策略訓(xùn)練目標(biāo)域果實檢測模型并通過對比實驗和消融實驗進行性能比較，驗證該研究方法的有效性。(表1、表2、表3)
 

表1 基于不同圖像轉(zhuǎn)換網(wǎng)絡(luò)，初步獲取的目標(biāo)域預(yù)訓(xùn)練火龍果、芒果果實檢測模型的性能測試結(jié)果
 

表2 Across-CycleGAN網(wǎng)絡(luò)消融實驗
 

表3 在基于Across-CycleGAN網(wǎng)絡(luò)構(gòu)建得到的目標(biāo)域預(yù)訓(xùn)練果實檢測模型基礎(chǔ)上，采用不同偽標(biāo)簽方法生成無標(biāo)注果實數(shù)據(jù)集標(biāo)簽數(shù)據(jù)的實驗結(jié)果；其中，T-PL和PL-SL分別表示不同偽標(biāo)簽生成方法。

研究表明，在已標(biāo)注源域柑橘果實數(shù)據(jù)集基礎(chǔ)上，實現(xiàn)對與柑橘存在部分形狀差異的目標(biāo)域火龍果和芒果圖像的自動標(biāo)注功能，并獲取高精度火龍果果實檢測模型和芒果果實檢測模型，果實檢測精度指標(biāo)mAP分別達(dá)到82.1%和 85.0%，有效減少果實數(shù)據(jù)集標(biāo)注工作量，提高現(xiàn)代化果園工作效率。

論文鏈接
https://doi.org/10.34133/2022/9761674‍

——推薦閱讀——FP Net: Balanced Feature Pyramid Network for Small Apple Detection in Complex Orchard Environment
https://doi.org/10.34133/2022/‍989246‍4
Plant Phenomics | 基于可平衡特征金字塔網(wǎng)絡(luò)的小蘋果檢測模型Objective Phenotyping of Root System Architecture Using Image Augmentation and Machine Learning in Alfalfa (Medicago sativa L.)
https://doi.org/10.34133/2022/9879610
Plant Phenomics | 基于圖像增強和機器學(xué)習(xí)的苜蓿根系表型研究

加入作者交流群

掃碼添加小編微信，拉您進入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開展作者分享會、�？�發(fā)布會等高質(zhì)量活動。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics
《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國科學(xué)促進會（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點領(lǐng)域具有突破性科研進展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄�？迫鹞ò睯CR2021影響因子為6.061，位于農(nóng)藝學(xué)、植物科學(xué)、遙感一區(qū)，生物大類一區(qū)（Top期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。

說明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。
特邀作者：張文利、郭威
編輯：胡君宇（實習(xí)）
審核：孔敏、王平