基于Mask-RCNN網(wǎng)絡的自上而下田間玉米葉脈生長軌跡檢測模型研究
Plant Phenomics | Point-Line Net：一種自上而下的田間玉米葉脈生長軌跡檢測模型
植物表型檢測在了解和研究植物生物學、農(nóng)業(yè)和生態(tài)學中起著至關重要的作用。通過對植物的各種物理性狀和特性的量化和分析，如株高、葉片形狀、數(shù)量和生長軌跡等的精確檢測，研究人員可以深入了解植物的生長發(fā)育、抗逆性以及環(huán)境因素的影響，對作物育種具有重要意義。
2024年7月，Plant Phenomics 在線發(fā)表了來自中國農(nóng)業(yè)科學院深圳農(nóng)業(yè)基因組研究所和太原理工大學合作完成的題為Recognition and Localization of Maize Leaf and Stalk Trajectories in RGB Images Based on Point-Line Net 的論文。
隨著計算機視覺技術和人工智能的快速發(fā)展，利用田間玉米圖像對植物相關信息進行高通量表型分析，可以大大消除重復勞動，提高植物育種效率。然而，由于田間環(huán)境中作物的背景復雜，遮擋問題嚴重，將深度學習方法應用于室外田間環(huán)境，確定田間玉米葉片數(shù)量并識別葉脈生長軌跡仍然存在一定的困難。為應對這一挑戰(zhàn)，本文基于Mask-RCNN網(wǎng)絡提出了一種自上而下的關鍵點檢測模型——Point-Line Net，用于田間玉米葉脈生長軌跡表型檢測任務。
數(shù)據(jù)集來自中國農(nóng)業(yè)科學院深圳農(nóng)業(yè)基因組研究所，本文選取了其中使用手持相機拍攝的部分數(shù)據(jù)集，包含9802張高分辨率RGB圖像和對應的點線標注文件。
圖1玉米數(shù)據(jù)集的4個拍攝角度3個生長時期圖像:(A)早期、(B)中期和(C)后期。
針對數(shù)據(jù)集中待檢測目標的表型特征，算法模型分別在自上而下的兩個階段做出了以下的改進：首先，為了更好地適應不同尺度物體的檢測需求，融合多尺度的特征信息，使用特征金字塔結(jié)構(gòu)（Feature pyramid network,FPN）結(jié)合更深層次的ResNet101作為目標檢測階段的特征提取網(wǎng)絡；其次，考慮到數(shù)據(jù)集中目標嚴重遮擋導致漏檢或者重復檢測的問題，本文將D_IoU計算策略與Soft-NMS算法融合，替代了傳統(tǒng)的IoU+NMS篩選算法；最后在關鍵點檢測階段，本文提出了輕量級的關鍵點檢測分支，即針對每個目標使用單一的熱力圖來推理目標的關鍵點坐標，用于擬合葉脈的生長軌跡。
圖2基于Mask R-CNN網(wǎng)絡的Point-Line Net模型:在目標檢測分支中，模型負責推理目標的位置及其類別；在關鍵點檢測分支中，結(jié)合目標檢測結(jié)果對關鍵點的熱圖進行模型推理。
另外，鑒于任務中特殊的關鍵點準確率評估需求，即關注預測關鍵點是否位于“關鍵路徑”（本文指葉脈或者莖脈）上，本文提出了一個新的驗證指標——mean Line Distance(mLD)，通過反復的理論推導與實驗驗證了該評價指標的有效性，為后續(xù)相關研究提供了參考。
最終，模型的目標檢測準確率（mAP50%）達到了81.5%，在自定義的距離驗證指標mLD上達到了33.5，實現(xiàn)了對田間玉米表型圖像中葉片和莖稈數(shù)量以及生長軌跡的有效識別。
圖3 Point-Line Net在各種場景下的預測結(jié)果:(A)原始RGB圖像；(B) Labelme工具轉(zhuǎn)換的地面真實值；(C)預測邊界框（紅色框代表識別出的的根莖類別，白色框代表識別出的的葉片類別）；(D)預測關鍵點。
該研究由中國農(nóng)業(yè)科學院深圳農(nóng)業(yè)基因組研究所、太原理工大學合作完成。太原理工大學聯(lián)合培養(yǎng)學生劉秉文為該文第一作者，阮玨研究員和李燈熬教授為該文通訊作者。本文的研究受到了國家重點研發(fā)計劃（2022YFC3400300、2019YFA0707003）等項目支持。
作者及團隊介紹
阮玨，研究員，博士生導師，農(nóng)業(yè)基因組學技術研發(fā)與應用創(chuàng)新團隊首席科學家。課題組主要從事組學算法研發(fā)：1）開發(fā)快速精準的序列比對與組裝算法開發(fā)；2）開發(fā)高效的圖基因組構(gòu)建與分析流程；3）制備圖像表型標準數(shù)據(jù)集，搭建共享平臺，開發(fā)植物表型圖像識別算法；4）開發(fā)具有高糾錯能力的DNA數(shù)字存儲算法；5）拓展測序方法研發(fā)：如低頻突變檢測，宏基因組測序等；6）在組學算法研發(fā)的基礎上，進一步開展生物信息學研究，為組學算法的深入利用提供支撐。
李燈熬，太原理工大學計算機科學與技術學院（大數(shù)據(jù)學院）教授，博士生導師，主要研究方向：大數(shù)據(jù)技術與應用、物聯(lián)網(wǎng)關鍵技術及應用、空間信息網(wǎng)絡技術。
論文鏈接：
https://doi.org/10.34133/plantphenomics.0199
——推薦閱讀——
Three-dimensional modelling of maize canopies based on computational intelligence
https://doi/10.34133/plantphenomics.0160
Plant Phenomics | 安徽大學聯(lián)合北京市農(nóng)林科學院信息技術研究中心提出了基于計算智能的玉米冠層三維建模方法
Analyzing Changes in Maize Leaves Orientation due to GxExM Using an Automatic Method from RGB Images
https://doi/10.34133/plantphenomics.0046
Plant Phenomics 精選2023 | 基于RGB圖像的基因型×環(huán)境型×管理相互作用下的玉米葉片方向變化分析
加入作者交流群
掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內(nèi)不定期開展作者分享會、�？l(fā)布會等高質(zhì)量活動。
添加小編微信，備注姓名+單位+PP，加入作者交流群
About Plant Phenomics《植物表型組學》（Plant Phenomics）是由南京農(nóng)業(yè)大學和美國科學促進會（AAAS）合作創(chuàng)辦的英文學術期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領域具有突破性科研進展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點。具體范圍涵蓋高通量表型分析的最新技術，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實踐中的表型組學新應用，與植物表型相結(jié)合的分子生物學、植物生理學、統(tǒng)計學、作物模型和其他組學研究，表型組學相關的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄�？祁Ｎò睯CR2022影響因子為7.6，位于農(nóng)藝學、植物科學、遙感一區(qū)。2023年中科院期刊分區(qū)位于農(nóng)林科學大類一區(qū)。2020年入選中國科技期刊卓越行動計劃高起點新刊項目、2024年入選江蘇科技期刊卓越行動計劃領軍期刊項目。
說明：本文由《植物表型組學》編輯部負責組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準。
特邀作者：阮玨、李燈熬
排版：蘇梓鈺（南京農(nóng)業(yè)大學）
審核：孔敏、王平
