利用三維生長(zhǎng)模型與域自適應(yīng)遷移學(xué)習(xí)實(shí)現(xiàn)無(wú)需人工標(biāo)注的小麥表型算法

Plant Phenomics | 虛擬圖像“以假亂真”，無(wú)需人工標(biāo)注，自監(jiān)督創(chuàng)建小麥表型算法

早期生長(zhǎng)勢(shì)（Early Vigor）是刻畫(huà)作物苗期地上部生長(zhǎng)活力的綜合性狀，與品種適應(yīng)性和產(chǎn)量潛力密切相關(guān)。利用現(xiàn)代植物表型高通量檢測(cè)裝備和智能化解析技術(shù)，監(jiān)測(cè)苗期作物葉片數(shù)量的動(dòng)態(tài)變化有助于解析早期生長(zhǎng)勢(shì)相關(guān)性狀�，F(xiàn)階段，人工智能算法極大提高了表型鑒定的準(zhǔn)確性和效率。然而，算法嚴(yán)重依賴(lài)大量人工標(biāo)注的訓(xùn)練樣本，尤其在作物苗期，器官纖細(xì)，標(biāo)注成本高、誤差大，成為限制人工智能算法在早期生長(zhǎng)監(jiān)測(cè)應(yīng)用中的重要瓶頸。
 

面向早期生長(zhǎng)勢(shì)高效精準(zhǔn)解析難題，文章以小麥為研究對(duì)象，結(jié)合三維作物模型和域自適應(yīng)遷移學(xué)習(xí)，開(kāi)辟基于虛擬數(shù)據(jù)集的表型算法研發(fā)新途徑，對(duì)于完善小麥表型組研究方法，提升基于早期生長(zhǎng)勢(shì)的育種效率具有重要價(jià)值。
 

2023年3月，Plant Phenomics在線(xiàn)發(fā)表了南京農(nóng)業(yè)大學(xué)聯(lián)合多家單位合作完成的題為Self-Supervised Plant Phenotyping by Combining Domain Adaptation with 3D Plant Model Simulations: Application to Wheat Leaf Counting at Seedling Stage 的研究論文。
 

文章利用三維生長(zhǎng)模型與域自適應(yīng)遷移學(xué)習(xí)，實(shí)現(xiàn)無(wú)需人工標(biāo)注的自監(jiān)督表型算法研發(fā)。提出利用內(nèi)嵌植物生理機(jī)理知識(shí)的三維作物生長(zhǎng)模型開(kāi)展多品種的虛擬表型試驗(yàn)，生成不同生育期小麥冠層結(jié)構(gòu)，研究田間小麥虛擬圖像自動(dòng)生成方法；進(jìn)而，綜合利用光線(xiàn)跟蹤算法研究田間小麥虛擬圖像中相應(yīng)的植物器官標(biāo)簽自動(dòng)生成方法，構(gòu)建覆蓋多個(gè)關(guān)鍵生育期的帶標(biāo)簽高質(zhì)量訓(xùn)練數(shù)據(jù)集。
 

圖1利用數(shù)字植物表型平臺(tái)（D3P）模擬田間小麥圖像。從左到右，通過(guò)使用D3P在模擬過(guò)程中考慮越來(lái)越多的因素（上欄），模擬的圖像會(huì)變得越來(lái)越真實(shí)（下欄）

進(jìn)一步，文章以自動(dòng)生成的虛擬圖像為源域，田間獲取的真實(shí)圖像數(shù)據(jù)為目標(biāo)域，進(jìn)行樣本對(duì)抗的域自適應(yīng)遷移學(xué)習(xí)；基于遷移學(xué)習(xí)結(jié)果，訓(xùn)練目標(biāo)檢測(cè)（監(jiān)測(cè)葉片數(shù)量）深度學(xué)習(xí)模型，并對(duì)監(jiān)測(cè)結(jié)果進(jìn)行驗(yàn)證。
 

圖2域自適應(yīng)后的圖像數(shù)據(jù)。在保證模擬圖像結(jié)構(gòu)不變的前提下，生成了更接近真實(shí)圖像的“Sim2real”數(shù)據(jù)集。

此外，文章提出的葉尖檢測(cè)模型在來(lái)自包括中國(guó)、澳大利亞、法國(guó)、日本和美國(guó)等五個(gè)國(guó)家的獨(dú)立測(cè)試集上進(jìn)行了測(cè)試，模型能夠有效監(jiān)測(cè)圖像中的小麥葉片數(shù)量（R2=0.96），充分體現(xiàn)了該方法的有效性和魯棒性。
 

圖3來(lái)自全球范圍內(nèi)不同國(guó)家圖像的獨(dú)立測(cè)試結(jié)果

該研究由南京農(nóng)業(yè)大學(xué)前沿交叉研究院PheniX Lab聯(lián)合來(lái)自全球范圍內(nèi)5個(gè)國(guó)家7個(gè)單位的相關(guān)學(xué)者合作完成，包括華中科技大學(xué)、東京大學(xué)、昆士蘭大學(xué)、內(nèi)布拉斯加大學(xué)林肯分校和法國(guó)農(nóng)業(yè)食品環(huán)境研究院。南京農(nóng)業(yè)大學(xué)鐘山青年研究員李英倫為本文第一作者，南京農(nóng)業(yè)大學(xué)劉守陽(yáng)教授和華中科技大學(xué)陸昊副教授為本文通信作者。相關(guān)工作得到了科技部政府間國(guó)際科技創(chuàng)新合作重點(diǎn)專(zhuān)項(xiàng)、“十四五”重點(diǎn)研發(fā)計(jì)劃、國(guó)家自然科學(xué)基金和江蘇省卓越博士后計(jì)劃等項(xiàng)目的資助。
 

論文鏈接：
https://doi.org/10.34133/plantphenomics.0041

——推薦閱讀——
3dCAP-Wheat: An Open-Source Comprehensive Computational Framework Precisely Quantifies Wheat Foliar, Nonfoliar, and Canopy Photosynthesis
https://doi.org/10.34133/2022/9758148
Plant Phenomics | 基于整合葉片與非葉片組織光合作用的三維冠層模型精確刻畫(huà)小麥群體光合
Repeated Multiview Imaging for Estimating Seedling Tiller Counts of Wheat Genotypes Using Drones
https://doi.org/10.34133/2020/3729715
Plant Phenomics | 使用無(wú)人機(jī)多視角成像技術(shù)估算小麥幼苗分蘗數(shù)

加入作者交流群
掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開(kāi)展作者分享會(huì)、專(zhuān)刊發(fā)布會(huì)等高質(zhì)量活動(dòng)。
 

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics
《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國(guó)科學(xué)促進(jìn)會(huì)（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線(xiàn)發(fā)行。采用開(kāi)放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫(kù)收錄�？祁Ｎò睯CR2021影響因子為6.961，位于農(nóng)藝學(xué)、植物科學(xué)、遙感一區(qū)。中科院農(nóng)藝學(xué)、植物科學(xué)一區(qū)，遙感二區(qū)，生物大類(lèi)一區(qū)（TOP期刊）。2020年入選中國(guó)科技期刊卓越行動(dòng)計(jì)劃高起點(diǎn)新刊項(xiàng)目。

說(shuō)明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。
特邀作者：李英倫（南京農(nóng)業(yè)大學(xué)）
排版：陳新月（南京農(nóng)業(yè)大學(xué)）
審核：孔敏、王平