基于MLG-YOLO模型的冬棗檢測和定位方法研究
Plant Phenomics | 浙江農(nóng)林大學胡耀華教授團隊基于MLG-YOLO的冬棗檢測和定位方法
開發(fā)冬棗采摘機器人對于實現(xiàn)冬棗機械化采收至關(guān)重要，而機器人采摘冬棗的過程也面臨著諸多挑戰(zhàn)，如冬棗常成簇生長，數(shù)量眾多；冬棗體積較小，且經(jīng)常被枝干和葉片遮擋，這些因素都會影響機器人對冬棗的識別精度。因此，準確地檢測和定位冬棗是實現(xiàn)機器人采摘的一項關(guān)鍵技術(shù)。
2024年9月，Plant Phenomics在線發(fā)表了浙江農(nóng)林大學單位等合作發(fā)表的題為MLG-YOLO: A Model for Real-Time Accurate Detection and Localization of Winter Jujube in Complex Structured Orchard Environments的研究論文。
本研究提出了一種基于MLG-YOLO模型的冬棗檢測與定位方法。首先，構(gòu)建了一個涵蓋不同光照條件和葉片遮擋場景的冬棗數(shù)據(jù)集來訓練模型。隨后，以YOLOv8n為基線模型，進行了以下主要改進：使用MobileVit重構(gòu)主干網(wǎng)絡以降低模型重量。在頸部中引入LSKblock以獲取更廣泛的上下文信息，采用輕量級卷積技術(shù)GSConv以提高檢測精度。最后，提出了一種結(jié)合MLG-YOLO和RGB-D相機的冬棗三維定位方法。通過消融實驗，對比實驗以及三維定位誤差實驗，驗證了MLG-YOLO模型在冬棗檢測和定位方面的性能。實驗結(jié)果表明，與基線模型YOLOv8n相比，MLG-YOLO的均值平均精度提高了3.50%，參數(shù)量減少了61.03%。與Faster RCNN，SSD，RT-DETR-L和YOLOv7-tiny等主流目標檢測模型相比，MLG-YOLO在檢測精度和模型尺寸方面均表現(xiàn)最佳，其精確率為86.80%，召回率為84.50%，均值平均精度為92.70%，模型大小僅為2.52 MB，在保持高檢測精度的同時實現(xiàn)了模型的輕量化。這一方法能夠?qū)崿F(xiàn)冬棗的精確檢測與定位，為冬棗采摘機器人提供技術(shù)支持。
本文創(chuàng)新點如下：
(1) 提出了輕量化的冬棗目標檢測模型MLG-YOLO，使用MobileVit重構(gòu)YOLOv8n的主干網(wǎng)絡，降低了計算的復雜度，使模型更加輕量化。
(2) 在YOLOv8n的頸部中引入LSKblock和GSConv模塊。其中，LSKblock通過其空間選擇機制和大核心的動態(tài)調(diào)整，可以有效的處理目標檢測中不同空間位置的上下文。GSConv模塊通過混合操作以簡化特征融合。通過兩種模塊的結(jié)合，以提高模型對冬棗小目標的檢測精度。
(3) 提出一種結(jié)合MLG-YOLO與RGB-D相機的冬棗三維定位方法，并設(shè)計實驗對定位誤差進行評估。結(jié)果表明，該方法能滿足機器人采摘系統(tǒng)準確檢測與定位冬棗的要求。
圖1 MLG-YOLO模型架構(gòu)
圖2 機器人采摘系統(tǒng)檢測與定位冬棗流程
該研究由浙江農(nóng)林大學、西北農(nóng)林科技大學、日本筑波大學、荷蘭格羅寧根大學合作完成。浙江農(nóng)林大學俞晨浩為該論文第一作者，胡耀華教授為該論文通訊作者。浙江農(nóng)林大學碩士生施瀟逸、羅文凱、馮俊哲，西北農(nóng)林科技大學在讀博士鄭洲洲，日本筑波大學Ayanori Yorozu博士，荷蘭格羅寧根大學郭佳盼博士參與了研究工作。研究得到浙江農(nóng)林大學人才啟動項目、國家自然科學基金面上項目和國家留學基金委項目的資助。
論文鏈接：
https://doi.org/10.34133/plantphenomics.0258
——推薦閱讀——
SCAG: A stratified, clustered, and growing-based algorithm for soybean branch angle extraction and ideal plant architecture evaluation
https://doi.org/10.34133/plantphenomics.0190
Plant Phenomics | 南京農(nóng)業(yè)大學基于點云的大豆分枝夾角提取算法開發(fā)與耐密植株型新性狀發(fā)掘
A multi-target regression method to predict element concentrations in tomato leaves using hyperspectral imaging
https://doi.org/10.34133/plantphenomics.0146
Plant Phenomics | 東京大學利用高光譜圖像預測番茄葉片中元素含量的多目標回歸方法
加入作者交流群
掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內(nèi)不定期開展作者分享會、�？l(fā)布會等高質(zhì)量活動。
添加小編微信，備注姓名+單位+PP，加入作者交流群
《植物表型組學》（Plant Phenomics）是由南京農(nóng)業(yè)大學創(chuàng)辦的英文學術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領(lǐng)域具有突破性科研進展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實踐中的表型組學新應用，與植物表型相結(jié)合的分子生物學、植物生理學、統(tǒng)計學、作物模型和其他組學研究，表型組學相關(guān)的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄�？祁Ｎò睯CR2022影響因子為7.6，位于農(nóng)藝學一區(qū)（1/125名），植物科學一區(qū)（13/265名），遙感一區(qū)（6/62名）。2023年中科院期刊分區(qū)位于農(nóng)林科學大類一區(qū)。2020年入選中國科技期刊卓越行動計劃高起點新刊項目、2024年入選江蘇科技期刊卓越行動計劃領(lǐng)軍期刊項目。
說明：本文由《植物表型組學》編輯部負責組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準。
特邀作者：俞晨浩
編輯排版：王平、張婕（上海交通大學）
審核：尹歡、孔敏
