在水果行業(yè)中，成熟度是評估水果品質(zhì)的重要指標(biāo)，可用于確定采收、運輸、銷售等的最佳時間。部分水果可通過表皮顏色判斷成熟度，如香蕉等；牛油果、獼猴桃等水果則需要采用破壞性測量才能確定。為了給出解決方案，我們驗證了高光譜成像和深度神經(jīng)網(wǎng)絡(luò)是否能夠預(yù)測水果的成熟程度。通過這項工作，我們提供了一個高光譜數(shù)據(jù)集，并在此基礎(chǔ)上測試了不同的模型，從而展示了小型神經(jīng)網(wǎng)絡(luò)的優(yōu)勢。在前人研究中，Pinto等人[1]和Olarewaju等人[2]利用高光譜成像來確定牛油果的成熟程度，Zhu等人[3]利用高光譜數(shù)據(jù)預(yù)測獼猴桃的硬度和可溶性固形物含量，這些研究都是基于經(jīng)典的機(jī)器學(xué)習(xí)算法進(jìn)行的。Mollazade等人[4]展示了一個簡單的神經(jīng)網(wǎng)絡(luò)對番茄含水量的預(yù)測能力，Gao等人[5]利用高光譜成像和預(yù)訓(xùn)練的AlexNet（一種深度卷積神經(jīng)網(wǎng)絡(luò)）可以預(yù)測草莓的成熟狀態(tài)，這些研究則是基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的。本文作者使用了更廣泛的模型，記錄了更大的數(shù)據(jù)集，分析了測量水果成熟度是否需要高光譜數(shù)據(jù)，或者純彩色圖像就足夠。
高光譜成像 (HSI) 技術(shù)是近年來日益流行的一種非破壞性測量技術(shù)，該技術(shù)基于高光譜相機(jī)獲取的光譜數(shù)據(jù)，其典型光譜范圍可從紫外到近紅外（表1），與標(biāo)準(zhǔn)RGB圖像相比，高光譜圖像有更多的通道，通常超過100個，可通過波長范圍揭示更多被檢測物質(zhì)的不同化學(xué)性質(zhì)。
表1 高光譜相機(jī)的典型波長范圍
類型 | 紫外線(UV) | 可見(VIS) | 近紅外(NIR) |
波長 | 100-380nm | 380-740nm | 740-2500nm |
本文的高光譜圖像獲取系統(tǒng)由3個部分組成（圖1），第一個組件是物體支架，由高光譜相機(jī)線掃描工作模式所必需的直線驅(qū)動器組成。第二個組件是光源。對于高光譜成像來說，足夠明亮和均勻的光源是必不可少的。鹵素?zé)艉蚅ED燈組合使用，以覆蓋更廣泛的光譜。此外，使用聚四氟乙烯曲率反射器來產(chǎn)生漫反射光。最后一個組件是相機(jī)，本研究使用了兩款高光譜相機(jī)（Specm FX 10和INNO-SPEC Redeye 1.7），以便更好地驗證結(jié)果，并覆蓋不同的波長范圍。Specm FX 10有224個通道，光譜范圍400-1000 nm；INNO-SPEC Redeye 1.7有252個通道，光譜范圍950-1700nm。使用折射計測量可溶性固形物的含量，使用硬度計測量穿透阻力以確定果肉的硬度。試驗收集了1038份牛油果和1522份獼猴桃的數(shù)據(jù)，它涵蓋了兩種水果從未熟到過熟的成熟過程，高光譜數(shù)據(jù)集可通過https://github.com/cogsys-tuebingen/deephs fruit獲得。圖1 高光譜圖像獲取系統(tǒng)：帶有物體支架的直線驅(qū)動器、光源和相機(jī)。獲得高光譜圖像后，首先采用簡單的基于像素的神經(jīng)網(wǎng)絡(luò)剔除背景，并訓(xùn)練它來區(qū)分背景和水果，然后將水果分為3類進(jìn)行研究，即未熟、成熟、過熟，將硬度、甜度和整體成熟度作為研究指標(biāo)，建立一個小的光譜卷積神經(jīng)網(wǎng)絡(luò)，專門用于成熟果實的應(yīng)用。本文構(gòu)建了高光譜卷積神經(jīng)網(wǎng)絡(luò)（Hyperspectral Convolutional Neural Network，HS-CNN）水果分類的架構(gòu)（圖2），將整個網(wǎng)絡(luò)設(shè)計的盡可能簡單和小，輸入一個水果的高光譜數(shù)據(jù)，3個卷積層從輸入的光譜數(shù)據(jù)提取特征映射，采用批歸一化（Batch Normalization）加快訓(xùn)練過程，使用平均池化（average pooling），最后的分類發(fā)生在CNN的頭部，由一個全局平均池化層（global average pooling layer）和一個全連接層（fully connected layer）組成。全局平均池化層大大減少了參數(shù)的數(shù)量，使預(yù)測更加的穩(wěn)定。使用旋轉(zhuǎn)、翻轉(zhuǎn)、隨機(jī)噪聲和隨機(jī)切割作為數(shù)據(jù)增強(qiáng)技術(shù)，用Adabound對神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，根據(jù)驗證損失提前停止，以防止過度擬合。在數(shù)據(jù)集中測試了5個模型，分別為具有徑向基核的支持向量機(jī)(SVM)、k-最近鄰分類器（kNN）、ResNet18、AlexNet和高光譜卷積神經(jīng)網(wǎng)絡(luò)(HS-CNN)。測試集為18個標(biāo)記的高光譜記錄，測試結(jié)果如表2所示，每個神經(jīng)網(wǎng)絡(luò)給出三個值。當(dāng)網(wǎng)絡(luò)能夠訪問整個高光譜記錄時，F(xiàn)ull值給出了準(zhǔn)確度。大多數(shù)情況下HS-CNN模型是優(yōu)于參考模型的，該模型預(yù)測牛油果硬度，準(zhǔn)確率達(dá)93.33%以上，預(yù)測牛油果的成熟度水平，準(zhǔn)確率均90%以上；預(yù)測獼猴桃的成熟程度要比預(yù)測牛油果困難得多，因此所有模型的預(yù)測精度都明顯較低。然而，我們的模型仍然能預(yù)測獼猴桃的硬度和成熟度，準(zhǔn)確率分別接近70%和80%。通過移除或替換高光譜卷積神經(jīng)網(wǎng)絡(luò)的組成部分，研究不同部分的影響。以牛油果為例，研究了這些操作的硬度測試精度。隨機(jī)剪切和增加測試時間可提高測試準(zhǔn)確性（表3-1）；深度分離卷積可以防止過擬合，增加測試精度（表3-2）；網(wǎng)絡(luò)的頭部使用卷積部分的特征映射確定分類結(jié)果，全局平均池化減少參數(shù)的數(shù)量，防止了過擬合，提高精確性（表3-3）；焦點損失函數(shù)可改善測試精度（表3-4）；學(xué)習(xí)率值為0.01的Adabound算法更好（表3-5）；平均池化的精確度比最大池化的精度更高（表3-6）。表3-1 不同增強(qiáng)技術(shù)的影響
Augmentation variant | Accuracy |
Full augmentation | 93.3 % |
Without test time augmentation | 70.8 % |
Without random noise | 73.3 % |
Without random cut | 69.3 % |
No transformation augmentation | 80.0 % |
表3-3 不同頭部架構(gòu)的準(zhǔn)確度比較
| |
| Global Average Pooling with additional layer | |
| |
| |
表3-4 不同損失函數(shù)的準(zhǔn)確度
表3-5 不同優(yōu)化程序的準(zhǔn)確度
| |
| Stochastic gradient descent | |
| |
| Adabound with default parameters | |
| Adabound with learning rate | |
使用積分梯度（Integrated gradient）來查看高光譜記錄的哪些部分對確定水果的狀態(tài)是重要的，這種技術(shù)可以顯示神經(jīng)元對網(wǎng)絡(luò)決策的影響，在一定程度上驗證神經(jīng)網(wǎng)絡(luò)的決策過程，驗證了預(yù)測正確性。圖3a給出了對牛油果成熟度預(yù)測影響的空間分布，這種影響均勻的分布在整個水果上。圖3b顯示了基于波長的影響，主要決策發(fā)生在800nm以上。此外，在一定程度上，該網(wǎng)絡(luò)利用520 ~ 650 nm的可見光范圍來區(qū)分未成熟果實和成熟果實。這個范圍與牛油果的可見變化相匹配。總的來說，通過卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的特征似乎是可信的。圖3 決策因子對牛油果狀態(tài)判定的影響（a）基于空間，(b)基于波長。此外，本文還介紹了一種為特定任務(wù)生成高光譜記錄假彩色圖像（false color image）的技術(shù)（圖4）。訓(xùn)練了一個基于像素的自動編碼器(圖4a)，對水果的高光譜圖像進(jìn)行編碼和解碼，使用均方誤差進(jìn)行訓(xùn)練，潛在空間的大小為3，將其解釋為彩色圖像。使用編碼器的嵌入作為分類器網(wǎng)絡(luò)的輸入(圖4b)，并訓(xùn)練分類器以區(qū)分成熟度等級。最終得到了一個專門編碼信息以區(qū)分成熟度等級的編碼器。以這種方式訓(xùn)練的編碼器可以生成假彩色圖像，從而可視化成熟過程。對于牛油果（圖5），成熟的部分從果實的底部一直長到頂部。對于獼猴桃的硬度分布（圖6），水果上慢慢長出一個受損的部分。圖4 預(yù)訓(xùn)練方法的架構(gòu)（a）自動編碼器（b）分類器網(wǎng)絡(luò)。本文的研究表明，卷積神經(jīng)網(wǎng)絡(luò)可用于高光譜數(shù)據(jù)，將水果分為三類(未熟、成熟和過熟)。HS-CNN分類器網(wǎng)絡(luò)在牛油果成熟狀態(tài)分類方面表現(xiàn)出卓越的性能，在獼猴桃成熟狀態(tài)分類方面表現(xiàn)出良好的性能。[1] J. Pinto, H. Rueda-Chac′on, and H. Arguello, “Classification of Hass avocado (persea americana mill) in terms of its ripening via hyperspectral images,” TecnoL′ogicas, vol. 22, no. 45, pp. 109–128, 5 2019.[2] O. O. Olarewaju, I. Bertling, and L. S. Magwaza, “Non-destructive evaluation of avocado fruit maturity using near infrared spectroscopy and PLS regression models,” Scientia Horticulturae, vol. 199, pp. 229–236, 2 2016.[3] H. Zhu, B. Chu, Y. Fan, X. Tao, W. Yin, and Y. He, “Hyperspectral Imaging for Predicting the Internal Quality of Kiwifruits Based on Variable Selection Algorithms and Chemometric Models,” Scientific Reports, vol. 7, no. 1, pp. 1–13, 12 2017.[4] K. Mollazade, M. Omid, F. A. Tab, S. Mohtasebi, and M. Sasse-Zude, “Spatial mapping of moisture content in tomato fruits using hyperspectral imaging and artificial neural networks,” in International workshop on Computer Image Analysis in Agriculture, 2012.[5] Z. Gao, Y. Shao, G. Xuan, Y. Wang, Y. Liu, and X. Han, “Real-time hyperspectral imaging for the in-field estimation of strawberry ripeness with deep learning,” Artificial Intelligence in Agriculture, vol. 4, pp.31–38, 1 2020.由于相關(guān)研究內(nèi)容非常專業(yè)，難免有些理解不準(zhǔn)確或者編輯整理的疏漏，請以英文原文為準(zhǔn)。
