麥穗圖像數(shù)據(jù)庫(kù)在于農(nóng)業(yè)生產(chǎn)和研究現(xiàn)場(chǎng)的AI算法測(cè)試的應(yīng)用

Plant Phenomics | 小麥麥穗自動(dòng)檢測(cè)大規(guī)模圖像數(shù)據(jù)庫(kù)：為可用于農(nóng)業(yè)生產(chǎn)和研究現(xiàn)場(chǎng)的AI算法測(cè)試奠基

在國(guó)際協(xié)作下，來自7個(gè)國(guó)家、9個(gè)研究機(jī)構(gòu)的十幾名研究人員創(chuàng)建了基于提高通用性的圖像來自動(dòng)檢測(cè)小麥麥穗的大規(guī)模數(shù)據(jù)庫(kù)。

構(gòu)建了用于小麥AI研究的國(guó)際圖像收集平臺(tái)和識(shí)別標(biāo)準(zhǔn)。

以此數(shù)據(jù)為契機(jī)，舉辦了以小麥麥穗識(shí)別為目的的世界性圖像識(shí)別比賽。期待通過這次競(jìng)賽帶動(dòng)今后農(nóng)學(xué)領(lǐng)域AI研究的快速發(fā)展。

2020年8月，Plant Phenomics發(fā)表了題為Global Wheat Head Detection (GWHD) Dataset: A Large and Diverse Dataset of High-Resolution RGB-Labelled Images to Develop and Benchmark Wheat Head Detection Methods的研究論文。來自7個(gè)國(guó)家、9個(gè)研究機(jī)構(gòu)的十幾名研究人員通過國(guó)際共同研究構(gòu)建了Global Wheat Head Detection (GWHD)數(shù)據(jù)集。這是世界首個(gè)匯集了大規(guī)模且富于多樣性的帶有標(biāo)簽的小麥麥穗圖像數(shù)據(jù)集。在小麥栽培和研究現(xiàn)場(chǎng)，與麥穗有關(guān)的調(diào)查如單位面積的穗數(shù)等主要通過目測(cè)。為了減少此類勞動(dòng)，研究人員們們正在推進(jìn)通過圖像分析和深度學(xué)習(xí)實(shí)現(xiàn)自動(dòng)化的技術(shù)開發(fā)。然而，以往的研究通。常使用有限的數(shù)據(jù)集來創(chuàng)建麥穗的檢測(cè)模型，不能創(chuàng)建出有通用性的模型。因此，來自7個(gè)國(guó)家9個(gè)研究機(jī)構(gòu)的研究人員開展合作，共同收集了約19萬份不同品種、不同生育階段、不同栽培條件的小麥麥穗的高分辨率圖像。此外還根據(jù)圖像獲取的指導(dǎo)方針和數(shù)據(jù)共享標(biāo)準(zhǔn)的FAIR原則（注1），提出了的最低限度元數(shù)據(jù)的關(guān)聯(lián)以及統(tǒng)一的麥穗標(biāo)記方法。GWHD數(shù)據(jù)集將在(http://www.global-wheat.com/)上公開，旨在為全世界的研究人員在麥穗識(shí)別方法的開發(fā)和數(shù)據(jù)標(biāo)準(zhǔn)的制定上提供參考。

近年來，運(yùn)用最新的信息科學(xué)對(duì)作物進(jìn)行高速、高精度的表型分析（以下稱為phenotyping）的相關(guān)研究開發(fā)，在世界各地都很盛行。其中，對(duì)利用圖像傳感和機(jī)器學(xué)習(xí)的高速phenotyping有很高期待。比如，有多項(xiàng)研究成果表明，作為小麥產(chǎn)量主要構(gòu)成要素之一的單位面積的穗數(shù)調(diào)查，也應(yīng)該從原來的多名調(diào)查人員的肉眼計(jì)數(shù)變?yōu)榛�于深度學(xué)習(xí)的自動(dòng)計(jì)數(shù)。然而，現(xiàn)有的研究成果大多以各自較少的實(shí)驗(yàn)數(shù)據(jù)為對(duì)象建立了麥穗檢測(cè)模型，由于對(duì)不同的栽培條件、品種沒有通用性，因此難以擴(kuò)大規(guī)模。另外，麥穗的識(shí)別在計(jì)算機(jī)視覺研究領(lǐng)域也是一個(gè)難題。究其原因，不僅是觀察條件、品種差異、生育階段、麥穗的方向等有偏差，還有可能因風(fēng)而造成的模糊、因密集個(gè)體群造成的重疊等，都是妨礙正確識(shí)別的主要因素。

為了能夠制作出具有通用性的麥穗檢測(cè)模型，以構(gòu)建大規(guī)模且富于多樣性的帶有標(biāo)簽的小麥麥穗圖像數(shù)據(jù)集為目標(biāo)，發(fā)表者們與世界各國(guó)的研究人員開展了合作。日本東京大學(xué)和國(guó)立研究開發(fā)法人農(nóng)業(yè)·食品產(chǎn)業(yè)技術(shù)綜合研究機(jī)構(gòu)（以下簡(jiǎn)稱農(nóng)研機(jī)構(gòu)）、法國(guó)ARVALIS植物研究所和國(guó)立農(nóng)學(xué)研究所、加拿大薩斯喀徹溫大學(xué)、英國(guó)洛桑研究所、瑞士蘇黎世聯(lián)邦理工大學(xué)、中國(guó)南京農(nóng)業(yè)大學(xué)、澳大利亞聯(lián)邦科學(xué)產(chǎn)業(yè)研究機(jī)構(gòu)和昆士蘭大學(xué)的研究人員，從各自國(guó)家的小麥栽培現(xiàn)場(chǎng)，以各種方法收集了合計(jì)11個(gè)子數(shù)據(jù)集（Fig.1）。由于攝影手段和器材不同，收集的圖像首先進(jìn)行了數(shù)據(jù)的整合（Fig.2），最終生成了合計(jì)4,698張準(zhǔn)圖像的數(shù)據(jù)。這些圖像的尺寸為1024×1024像素，每張圖像含有20~70個(gè)麥穗（Fig.3）。此后，通過使用一種新的分析技術(shù)，使計(jì)算機(jī)提出是否存在需要人工判斷的麥穗，可以使比以前更有效地選擇用于機(jī)器學(xué)習(xí)的學(xué)習(xí)數(shù)據(jù)和麥穗的位置坐標(biāo)的工作（批注工作）得以實(shí)現(xiàn)。并且，對(duì)各自的批注結(jié)果進(jìn)行重新審查及手動(dòng)修正，最終創(chuàng)建了存儲(chǔ)了約19萬小麥麥穗圖像的Global Wheat Head Detection(GWHD)數(shù)據(jù)集。

Fig.1 Overview of the harmonization process conducted.

Fig.2 Examples of wheat heads difficult to label.

Fig.3 Example of images from different acquisition sites after cropping and rescaling.

利用所構(gòu)建的GWHD數(shù)據(jù)集，2020年5月4日起，在IPPN（注2）組織的活動(dòng)CVPPP 2020（注3）Challenge at ECCV2020（注4）中策劃了“Global Wheat Head Detection challenge”，并在Kaggle（注5）舉行，聚集了來自世界各地的2245支參賽小組(https://www.kaggle.com/c/global-wheat-detection)。本次挑戰(zhàn)賽將以歐洲和北美收集的3,422張圖像數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，澳大利亞、日本和中國(guó)的1,276張圖像數(shù)據(jù)作為驗(yàn)證數(shù)據(jù)進(jìn)行公開。并由加拿大的GIFS、日本的Kubota、法國(guó)的DigitAG和Hiphen贊助，懸賞15,000美元。本數(shù)據(jù)集的公開和世界級(jí)挑戰(zhàn)大會(huì)的召開，使農(nóng)業(yè)和研究現(xiàn)場(chǎng)的phenotyping研究和人工智能(AI)工具開發(fā)的快速發(fā)展備受期待。

Fig.4 Global Wheat Head Detection Challenge.

研究項(xiàng)目成員

E. David (Arvalis，Institut duvégétal，F(xiàn)rance. PhD Student)

S. Madec (Arvalis，Institut duvégétal, France. Post-doctoral fellow)

P. Sadeghi-Tehran(Plant SciencesDepartment, Rothamsted Research, United Kingdom. Computer Scientist)

H. Aasen (Institute of Agricultural Sciences, ETH Zurich, Switzerland. Dr.）

鄭邦友 (CSIRO Agriculture and Food, Australia. Data Scientist)

劉守陽 (INRAE, France. 作物表型交叉研究中心, 南京農(nóng)業(yè)大學(xué). Dr.)

N. Kirchgessner (Institute of Agricultural Sciences, ETH Zurich, Switzerland. Researcher)

G. Ishikawa (National Agriculture and Food Research Organization Institute of Crop Science, NARO, Division of Basic Research, Breeding Strategies Research Unit. Senior Researcher)

K. Nagasawa (National Agriculture and Food Research Organization Hokkaido Agricultural Research Center, NARO, Division of Field Crop Research and Development, Wheat Breeding Group. Senior Principal Researcher)

M.A. Badhon (Department of Computer Science, University of Saskatchewan, Canada. Master Student)

C. Pozniak (Department of Plant Sciences, University of Saskatchewan, Canada. Professor)

B. de Solan (Arvalis, Institut duvégétal, France. Research Engineer)

A. Hund (Institute of Agricultural Sciences, ETH Zurich, Switzerland. PD Dr.)

S.C. Chapman (School of Foodand Agricultural Sciences, The University of Queensland, Australia. Professor)

F. Baret (INRAE, France. Research Director)

I. Stavness (Department of Computer Science, University of Saskatchewan, Canada. Associate Professor)

郭威 (Institute for Sustainable Agro-ecosystem Services, Graduate School of Agricultural and Life Sciences, The University of Tokyo. Assistant Professor)

備注

1. FAIR原則：FAIR是Findable（可發(fā)現(xiàn)）、Accessible（可訪問）、Interoperable（可互操作）、Reusable（可重用）的縮寫，描述了數(shù)據(jù)公開的適當(dāng)實(shí)施方式，作為數(shù)據(jù)共享原則被國(guó)際社會(huì)提倡。

2. IPPN：國(guó)際植物phenotyping網(wǎng)絡(luò)。

3. CVPPP：Computer Vision Problems in PlantPhenotyping。解決計(jì)算機(jī)視覺領(lǐng)域的植物phenotyping課題的研討會(huì)。

4. ECCV：European Conference on ComputerVision。計(jì)算機(jī)視覺領(lǐng)域的頂級(jí)會(huì)議之一。

5. Kaggle：連接企業(yè)和政府等組織和數(shù)據(jù)分析專業(yè)的數(shù)據(jù)科學(xué)家/機(jī)器學(xué)習(xí)工程師的平臺(tái)。

論文鏈接

https://spj.sciencemag.org/journals/plantphenomics/2020/3521852/

 

——推薦閱讀——

Easy MPE: Extraction of Quality Microplot Images for UAV-Based High-Throughput Field Phenotyping

https://spj.sciencemag.org/journals/plantphenomics/2019/2591849/

Plant Phenomics | Easy MPE：基于無人機(jī)高通量表型技術(shù)提取高質(zhì)量田間小區(qū)圖像

A High-Throughput Phenotyping Pipeline for Image Processing and Functional Growth Curve Analysis

https://spj.sciencemag.org/journals/plantphenomics/2020/7481687/

Plant Phenomics | 一種用于圖像處理和函數(shù)型數(shù)據(jù)分析的高通量表型方法

About Plant Phenomics

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國(guó)科學(xué)促進(jìn)會(huì)（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行，是Science合作出版的第二本期刊。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被CABI、CNKI和DOAJ數(shù)據(jù)庫(kù)收錄。

說明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。

編輯：周燦彧（實(shí)習(xí)）、孔敏

審核：尹歡