針對(duì)多品種作物點(diǎn)云的器官同步語(yǔ)義分割與實(shí)例分割的三維植物表型研究

Plant Phenomics | PSegNet：針對(duì)多品種作物點(diǎn)云的器官同步語(yǔ)義分割與實(shí)例分割深度學(xué)習(xí)網(wǎng)絡(luò)

植物表型學(xué)研究植物在生長(zhǎng)過(guò)程中由遺傳基因和生長(zhǎng)環(huán)境之間動(dòng)態(tài)相互作用所形成的直觀植物指標(biāo)�，F(xiàn)代表型研究的主要路線是利用計(jì)算機(jī)數(shù)字化手段精確分析表型與基因型之間的關(guān)系，提高對(duì)復(fù)雜遺傳性狀的理解，進(jìn)而加快基因育種、智慧農(nóng)業(yè)等方面的發(fā)展。相較于作物圖像，通過(guò)三維成像手段獲得的作物三維模型不僅包含有色彩和紋理信息，而且包含圖像中缺失的深度結(jié)構(gòu)信息。這在數(shù)據(jù)源頭即克服了視角限制導(dǎo)致的器官遮擋和重疊問(wèn)題，是進(jìn)行真正統(tǒng)計(jì)意義上的高精度表型測(cè)量的基礎(chǔ)。研究具有品種適應(yīng)性的作物三維點(diǎn)云器官分割與表型方法不僅具有理論意義還蘊(yùn)含著巨大的經(jīng)濟(jì)價(jià)值。

近日，Plant Phenomics在線發(fā)表了東華大學(xué)信息學(xué)院李大威課題組的題為PSegNet: simultaneous semantic and instance segmentation for point clouds of plants 的研究論文。

在獲取了可靠的三維點(diǎn)云數(shù)據(jù)后，對(duì)點(diǎn)云進(jìn)行有效的器官分割就成為了三維植物表型分析的關(guān)鍵，如何有效分離莖與葉區(qū)域，以及進(jìn)一步將冠層集合分割成單葉片實(shí)例并計(jì)算表型參數(shù)都是其中公認(rèn)的難點(diǎn)。此外，如何基于當(dāng)前流行的深度學(xué)習(xí)方法設(shè)計(jì)出同時(shí)適用于單子葉作物和雙子葉作物點(diǎn)云的適普分割方法也是較大的挑戰(zhàn)，這個(gè)挑戰(zhàn)存在于數(shù)據(jù)處理與整合、網(wǎng)絡(luò)模型設(shè)計(jì)、訓(xùn)練參數(shù)的調(diào)諧等多個(gè)方面。

為了解決這些難題，本研究論文做出了如下貢獻(xiàn)：（1）提出了一種體素化最遠(yuǎn)點(diǎn)降采樣策略（VFPS）對(duì)作物點(diǎn)云進(jìn)行預(yù)處理（流程見(jiàn)圖1）。該策略綜合了體素化點(diǎn)云降采樣和最遠(yuǎn)點(diǎn)采樣的優(yōu)勢(shì)，具有點(diǎn)數(shù)固定、空洞少、可擴(kuò)增訓(xùn)練樣本、可進(jìn)一步提升深度學(xué)習(xí)網(wǎng)絡(luò)性能的特點(diǎn)；（2）人工標(biāo)注了一個(gè)包含了三個(gè)品種共幾百株作物點(diǎn)云的數(shù)據(jù)集用于深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練，該數(shù)據(jù)集囊括了單子葉作物（高粱）和雙子葉作物（煙草、西紅柿），點(diǎn)云標(biāo)簽包含器官語(yǔ)義標(biāo)簽與葉片實(shí)例標(biāo)簽；同時(shí)，借助體素化最遠(yuǎn)點(diǎn)降采樣策略對(duì)該數(shù)據(jù)集進(jìn)行了高達(dá)十倍的訓(xùn)練數(shù)據(jù)擴(kuò)增；（3）設(shè)計(jì)了一種適用于單子葉作物和雙子葉作物點(diǎn)云分割的雙功能網(wǎng)絡(luò)—PSegNet（見(jiàn)圖2）。該網(wǎng)絡(luò)可以同時(shí)實(shí)現(xiàn)莖干和葉片區(qū)域的語(yǔ)義分割以及單葉的實(shí)例分割，其主要結(jié)構(gòu)中包含了全新設(shè)計(jì)的雙鄰域特征提取塊（DNFEB），雙粒度特征融合模塊（DGFFM），注意力模塊（AM）等計(jì)算模塊；（4）不僅在作物點(diǎn)云上進(jìn)行了訓(xùn)練與測(cè)試，還在S3DIS這類大規(guī)模室內(nèi)場(chǎng)景點(diǎn)云數(shù)據(jù)集上驗(yàn)證了PSegNet的有效性，證明了本文深度學(xué)習(xí)網(wǎng)絡(luò)具有強(qiáng)數(shù)據(jù)適應(yīng)性和多行業(yè)應(yīng)用潛力。
 

圖1 VFPS策略示意圖
 

圖2 PSegNet的體系結(jié)構(gòu)

實(shí)驗(yàn)結(jié)果表明，提出的PSegNet在作物點(diǎn)云測(cè)試集上的器官語(yǔ)義分割任務(wù)中達(dá)到了95.23%的平均精確度、93.85%的平均召回率、94.52%的平均F1分?jǐn)?shù)、以及89.90%的平均IOU；在葉片實(shí)例分割任務(wù)中達(dá)到了88.13%的平均精確度、79.28%的平均召回率、83.35%的mCov、以及89.54%的mWCov。PSegNet的結(jié)果明顯優(yōu)于PointNet++、ASIS、SGPN和PlantNet等當(dāng)前流行的深度學(xué)習(xí)網(wǎng)絡(luò)。PSegNet在測(cè)試集作物點(diǎn)云上的語(yǔ)義分割定性展示（見(jiàn)圖3），實(shí)例分割定性結(jié)果（見(jiàn)圖4）。PSegNet在農(nóng)業(yè)領(lǐng)域之外的室內(nèi)場(chǎng)景點(diǎn)云數(shù)據(jù)集S3DIS上也展現(xiàn)出了較好的分割性能，其語(yǔ)義分割定性結(jié)果與真實(shí)值的對(duì)比可（見(jiàn)圖 5），本文網(wǎng)絡(luò)在多個(gè)房間中都達(dá)到了接近真實(shí)值的分割效果，證明其具備強(qiáng)數(shù)據(jù)適應(yīng)性能力。
 

圖3 PSegNet語(yǔ)義分割的定性展示
 

圖4PSegNet實(shí)例分割的定性展示
 

圖5 在S3DIS區(qū)域5的四個(gè)不同房間內(nèi)演示PSegNet的語(yǔ)義分割結(jié)果

作者介紹：李大威，東華大學(xué)副教授，獲上海市啟明星人才計(jì)劃，上海市青年英才揚(yáng)帆計(jì)劃。長(zhǎng)期從事農(nóng)業(yè)自動(dòng)化、植物表型、計(jì)算機(jī)視覺(jué)與人工智能方向的研究。

論文鏈接：

https://doi.org/10.34133/2022/9787643

——推薦閱讀——

Development and Validation of a Deep Learning Based Automated Minirhizotron Image Analysis Pipeline 

https://doi.org/10.34133/2022/9758532

Plant Phenomics | 基于深度學(xué)習(xí)的微根管圖像自動(dòng)化分析方法

Simultaneous Prediction of Wheat Yield and Grain Protein Content Using Multitask Deep Learning from Time-Series Proximal Sensing

https://doi.org/10.34133/2022/9757948

Plant Phenomics | 基于近端多源時(shí)序數(shù)據(jù)和多任務(wù)深度學(xué)習(xí)同步預(yù)測(cè)小麥產(chǎn)量和品質(zhì)性狀

加入作者交流群

掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開展作者分享會(huì)、�？�發(fā)布會(huì)等高質(zhì)量活動(dòng)。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國(guó)科學(xué)促進(jìn)會(huì)（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫(kù)收錄。2021年中科院期刊分區(qū)表影響因子5.706，位于農(nóng)藝學(xué)、植物科學(xué)兩個(gè)小類一區(qū)，遙感小類二區(qū)，生物大類一區(qū)（Top期刊）。2020年入選中國(guó)科技期刊卓越行動(dòng)計(jì)劃高起點(diǎn)新刊項(xiàng)目。

說(shuō)明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。

中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。

特邀作者：李大威

編輯：趙瑜涵（實(shí)習(xí)）

審核：孔敏、王平