融合快照光譜圖像和RGB-D圖像生成三維多光譜植物點云的新方法研究
Plant Phenomics | 浙江大學發(fā)現(xiàn)一種融合快照光譜圖像和RGB-D圖像生成高質量三維多光譜植物點云的新方法
光譜成像作為流行的表型技術之一，可以獲得與結構、生化和生理性狀相關的植物光譜和空間信息。然而，植物近端光譜成像可能會受到復雜的植物結構和光照條件的影響。諸如植物葉片的傾斜和卷曲、植物葉片與其他器官或樹冠之間的相互遮擋以及植物與光照的相互作用等因素會極大地影響植物光譜成像的完整性和準確性，已成為近端植物表型分析的主要挑戰(zhàn)之一。三維多光譜點云是一種有前景的多模態(tài)數(shù)據(jù)形式，其同時包含了了離散點的坐標和多波段光譜響應，在呈現(xiàn)植物生長和發(fā)育信息方面具有很強的互補性。但由于多模態(tài)數(shù)據(jù)融合的復雜性和光照效應，其生成精度仍然較低。因此，有必要開發(fā)一種新的方法來生成高質量的植物三維多光譜點云。
2023年3月，Plant Phenomics在線發(fā)表了浙江大學生物系統(tǒng)工程與食品科學學院、浙江大學植物表型創(chuàng)新團隊、農作物光學成像實驗室題為 Generating 3D multispectral point clouds of plants with fusion of snapshot spectral and RGB-D images 的研究論文。
本研究提出了一種生成高質量植物三維多光譜點云的新方法。SURF-Demons算法被用于融合近端獲取的深度圖像和快照光譜圖像。為消除光照影響，作者開發(fā)了一種基于半球參考體和ANN的植物光譜圖像反射率校正方法。所提出的SURF-Demons配準植物的RGB-D圖像和快照光譜圖像的平均SSIM達到了0.931，超過了其它經(jīng)典方法（平均SSIM為0.889）。用ANN模擬了不同位置和方向的參考DN值分布，R²為0.962，RMSE為0.036。與ASD光譜儀測量的真實值相比，校正后不同葉位的光譜反射率的平均RMSE下降了78.0%，相同葉位的多視角光譜反射率曲線之間的平均歐氏距離極差減少了60.7%。所提出的植物三維多光譜點云的生成方法為近端植物表型準確分析提供了關鍵技術。
圖1 校正前后的植物多光譜圖像對比和三維多光譜點云可視化 (波長為740.7nm)
圖2 不同葉位校正前后的多光譜反射率曲線對比
浙江大學生物系統(tǒng)工程與食品科學學院博士研究生謝鵬堯為第一作者，岑海燕教授為本文的通訊作者。相關工作得到國家重點研發(fā)計劃項目、浙江省重點研發(fā)計劃項目以及浙江大學國際合作專項的資助。
論文鏈接：
https://doi.org/10.34133/plantphenomics.0040
——推薦閱讀——
Benchmarking Self-Supervised Contrastive Learning Methods for Image-Based Plant Phenotyping
https://doi.org/10.34133/plantphenomics.0037
Plant Phenomics | 基于圖像的植物表型自監(jiān)督對比學習方法的基準測試
https://doi.org/10.34133/plantphenomics.0007
Plant Phenomics | 基于無人機多光譜圖像和SRGAN的大白菜單株表型測定研究
加入作者交流群
掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內不定期開展作者分享會、�？l(fā)布會等高質量活動。
添加小編微信，備注姓名+單位+PP，加入作者交流群
About Plant Phenomics
《植物表型組學》（Plant Phenomics）是由南京農業(yè)大學和美國科學促進會（AAAS）合作創(chuàng)辦的英文學術期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領域具有突破性科研進展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點。具體范圍涵蓋高通量表型分析的最新技術，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農業(yè)實踐中的表型組學新應用，與植物表型相結合的分子生物學、植物生理學、統(tǒng)計學、作物模型和其他組學研究，表型組學相關的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄。科睿唯安JCR2021影響因子為6.961，位于農藝學、植物科學、遙感一區(qū)。中科院農藝學、植物科學一區(qū)、遙感二區(qū)、生物大類一區(qū)（TOP期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。
說明：本文由《植物表型組學》編輯部負責組稿。
中文內容僅供參考，一切內容以英文原版為準。
特邀作者：謝鵬堯（浙江大學）
排版：蘇梓鈺（南京農業(yè)大學）
審核：孔敏、王平
