背景
水分含量（moisture content,mc）在海參腌制過程中起著重要作用。較高的mc會導(dǎo)致膠原纖維斷裂，使海參在儲存過程中更容易受損，較低的mc會降低海參的口感和營養(yǎng)價(jià)值。準(zhǔn)確控制海參腌制過程中mc的含量，對海參的口感品質(zhì)和商品價(jià)值具有重要意義。
大量研究使用高光譜成像（hyperspectral imaging,hsi）和低場核磁共振（low field nuclear magnetic resonance,lf-nmr）研究水的遷移和變化并預(yù)測mc。hsi是一種用于探測淺水表面物理和化學(xué)性質(zhì)的快速、無損監(jiān)測技術(shù)。lf-nmr是另一種流行的無創(chuàng)檢測技術(shù)，用于監(jiān)測食品中水分狀態(tài)的變化和水分遷移。低頻核磁共振之所以有效，是因?yàn)楫?dāng)電磁脈沖（electromagnetic pulse, emp）在垂直方向輻射時，氫質(zhì)子由于能量從低能級到高能級的轉(zhuǎn)變而處于不穩(wěn)定狀態(tài)，而當(dāng)emp消失時，這一過程是可逆的。對于海參淺層表面復(fù)雜的棘皮結(jié)構(gòu)和內(nèi)部復(fù)雜的腔體、體壁等結(jié)構(gòu)，hsi和lf-nmr聯(lián)合檢測可以更準(zhǔn)確地預(yù)測mc。
深度學(xué)習(xí)（deeplearning, dl）網(wǎng)絡(luò)可以減少模型對人類經(jīng)驗(yàn)的依賴，提高模型的泛化能力。cs（cuckoo search）優(yōu)化算法通過提取數(shù)據(jù)的顯著特征實(shí)現(xiàn)降維，可以有效提高基于小樣本空間和低類間差異數(shù)據(jù)的模型性能。因此，本研究基于hsi和lf-nmr數(shù)據(jù)，采用dl網(wǎng)絡(luò)和cs優(yōu)化算法聯(lián)合構(gòu)建預(yù)測模型，對鹽漬海參的mc進(jìn)行預(yù)測分析。
具體研究目標(biāo)如下：（1）分別針對hsi和lf-nmr數(shù)據(jù)構(gòu)建基于變種cs算法的mc深度學(xué)習(xí)預(yù)測模型；（2）通過探索模型的性能，確定了hsi和lf-nmr的最優(yōu)模型；（3）根據(jù)最優(yōu)模型和核磁共振成像（magnetic resonance imaging, mri），分別基于hsi和lf-nmr數(shù)據(jù)可視化mc分布；（4）構(gòu)建基于融合數(shù)據(jù)的mc的fusion-net dl（fdl）預(yù)測模型，并與以往基于單一數(shù)據(jù)的模型進(jìn)行比較，選擇最終的最優(yōu)模型。
試驗(yàn)設(shè)計(jì)
大連工業(yè)大學(xué)王慧慧教授團(tuán)隊(duì)利用image-λ-n17e近紅外高光譜成像系統(tǒng)（江蘇雙利合譜公司）獲取了510個不同腌制處理下的海參高光譜影像（圖1a）。高光譜數(shù)據(jù)由350張640×803像素的單波段光譜圖像組成，波長范圍為934.8 ~ 1710.6 nm。如圖1e所示，將鹽漬海參樣品置于核磁共振分析儀（niumag電氣公司）中進(jìn)行l(wèi)f-nmr測，得到如圖1f所示的橫向松弛曲線。每個腌制周期取同一樣品進(jìn)行mri分析，通過自旋回波成像序列獲得mc在不同腌制時間的氫質(zhì)子mri（圖1g）。
數(shù)據(jù)的強(qiáng)相關(guān)性可能導(dǎo)致“維度詛咒”，有必要對冗余的高維信息進(jìn)行降維處理。使用cs算法選擇特征，如圖1h所示。針對不同的應(yīng)用領(lǐng)域，cs有不同的變體，本研究使用的三個變體分別為traditional-cs（tcs）、binary-cs（bcs）和chaotic-cs（ccs）。
將降維后的數(shù)據(jù)輸入到相應(yīng)的模型中進(jìn)行訓(xùn)練，選擇最優(yōu)模型（圖1i），實(shí)現(xiàn)mc分布變化的可視化（圖1j）。在本文中，mc的預(yù)測模型包括基于高光譜數(shù)據(jù)的單獨(dú)dl模型、基于lf-nmr數(shù)據(jù)的單獨(dú)dl模型和基于hsi和lf-nmr數(shù)據(jù)的fdl模型。對于hsi數(shù)據(jù)，dl框架中使用了兩個1d卷積層，分別包含32個和64個卷積核，大小為1×3（圖2a）。
對于lf-nmr數(shù)據(jù)，dl框架的總體結(jié)構(gòu)與上述hsi相同。
圖1研究流程圖
圖2多種深度學(xué)習(xí)模型?；诠庾V的深度學(xué)習(xí)模型（a）；基于lf-nmr的深度學(xué)習(xí)模型（b）；融合深度學(xué)習(xí)模型（c）。
類可降解塑料和不可降解塑料共計(jì)1020個樣本的高光譜影像（圖1）。其波長范圍為380 ~ 1038 nm，波段數(shù)為520。在每個樣本的高光譜圖像的中心區(qū)域選擇一個像素大小為60 × 60的采樣區(qū)域作為感興趣區(qū)域，獲取其平均光譜，并對其進(jìn)行sg濾波和snv預(yù)處理。
cnn主要由卷積層、池化層和全連接層組成，其中全連接層的核心操作是卷積和池化。卷積提取了多波段高光譜特征，同時充分保持了特征之間的位置關(guān)系。池化可以減小特征圖的大小，可以保留最關(guān)鍵的信息，有效防止網(wǎng)絡(luò)過擬合。同時，通過池化可以減少網(wǎng)絡(luò)中的節(jié)點(diǎn)數(shù)量，有效提高了網(wǎng)絡(luò)的計(jì)算效率。resnet由兩個卷積層組成，卷積核大小為3 × 3，填充和步長為1（圖2）。將原始特征與挖掘特征相結(jié)合，可以有效避免塑料高光譜圖像深度特征提取中的特征退化問題。
本文將靜態(tài)卷積層替換為動態(tài)卷積層，在不增加網(wǎng)絡(luò)深度和寬度的前提下提高了計(jì)算效率。根據(jù)卷積核的自適應(yīng)性，動態(tài)卷積層具有魯棒的表示能力。動態(tài)卷積層結(jié)構(gòu)如圖3所示。首先，對全局位置信息進(jìn)行平均池化壓縮；然后，將壓縮后的信息通過全連接層映射到激活層，其中relu為激活函數(shù)。激活信息通過全連接層映射到softmax層。最后，softmax層輸出k個權(quán)值用于核聚合。k表示參與核聚合的卷積核的個數(shù)，k的增加會導(dǎo)致模型的復(fù)雜度增加。在大多數(shù)情況下，softmax層的輸出值相對稀疏，因此只有一小部分卷積核可以跨層優(yōu)化，導(dǎo)致神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中收斂緩慢。因此，減少softmax層中的注意力是必要的，這樣可以使訓(xùn)練更有效。計(jì)算公式如1所示，當(dāng)t = 1時，公式為原始softmax層。利用dy-kernel自適應(yīng)提取高光譜數(shù)據(jù)的特征，然后依次通過bn和relu得到最終輸出。
（1）
本文提出了自適應(yīng)提取塑料高光譜數(shù)據(jù)特征的dy-resnet方法，該方法主要由包含動態(tài)卷積層的殘差塊組成。圖4顯示了dy-resnet的結(jié)構(gòu)，包括一個卷積層、一個bn層、四個動態(tài)卷積殘差塊（dr-block）、兩個池化層、一個flatten層和一個全連接層。
圖1 高光譜塑料檢測系統(tǒng)
圖2殘差塊結(jié)構(gòu)
圖3動態(tài)卷積層結(jié)構(gòu)
圖4dy-resnet的結(jié)構(gòu)
結(jié)論
在動態(tài)卷積層中，參數(shù)k和t顯著影響穩(wěn)定性和精度。如果k過大，雖然模型具有更強(qiáng)的表達(dá)能力，但優(yōu)化所有卷積核和注意力更加困難，網(wǎng)絡(luò)更容易出現(xiàn)過擬合。在softmax層中，t控制了注意力權(quán)值的稀疏性，適當(dāng)?shù)膖可以使模型在早期訓(xùn)練中更有效。因此，有必要確定k和t的最優(yōu)值。如圖5所示，當(dāng)k較小時，模型的訓(xùn)練時間和分類穩(wěn)定性都較好。然而，k的數(shù)量限制了動態(tài)卷積核的自適應(yīng)能力，降低了模型的分類精度和f1-score。當(dāng)k設(shè)置為4時，既保證了模型的分類性能，又充分考慮了訓(xùn)練時間。t越大，模型的穩(wěn)定性越高。但是，當(dāng)t過于大時，模型的分類性能會下降，因此將t設(shè)為31。
圖5 不同參數(shù)的動態(tài)卷積層
可降解和不可降解塑料的分類結(jié)果如表1所示。雖然dy-resnet、resnet、dy-cnn和cnn模型都取得了很好的分類效果，但提出的dy-resnet模型的識別效果更好。dy-resnet模型的識別準(zhǔn)確率為99.06%，f1-score為98.86%，kappa為97.73%。此外，對比cnn和resnet模型的分類結(jié)果可以看出，殘差連接的引入更有助于挖掘高光譜數(shù)據(jù)的深層特征。dy-resnet模型的精度、f1-score和kappa分別比resnet模型高1.53%、1.85%和3.71%，表明動態(tài)卷積層可以有效提高模型在高光譜數(shù)據(jù)挖掘中的適應(yīng)性和表征能力。
不同模型的混淆矩陣如圖6所示?？梢钥闯?，四種分類模型的分類效果都很好，說明該分類模型是有效的。此外，可以看到resnet、dy-cnn和cnn模型將一些不可降解塑料預(yù)測為可降解塑料，這可能是由于訓(xùn)練集中樣本數(shù)量不平衡造成的。然而，dy-resnet模型可以避免由于訓(xùn)練集各類別樣本數(shù)量不平衡而導(dǎo)致的錯誤預(yù)測。
表1四種網(wǎng)絡(luò)模型的2-分類實(shí)驗(yàn)結(jié)果
圖6四種方法對可降解塑料和不可降解塑料的分類結(jié)果。dy-resnet（a）, dy-cnn（b）, resnet（c）,cnn（d）
為了進(jìn)一步驗(yàn)證dy-resnet在塑料識別中的有效性，分別使用dy-resnet、resnet、dy-cnn和cnn模型對17種樣品進(jìn)行分類。4個模型在全連接層的輸出神經(jīng)元數(shù)量從2個變?yōu)?7個，4個模型的其他結(jié)構(gòu)和超參數(shù)不變。17種塑料的分類結(jié)果見表2?？傮w而言，dyresnet的分類性能優(yōu)于其他模型，其準(zhǔn)確率為89.76%，f1-score為89.68%，kappa為89.13%。與cnn相比，dy-resnet中的殘差連接可以有效提取塑料高光譜圖像的深層特征。在5個獨(dú)立實(shí)驗(yàn)中，dy-resnet的模型精度最高，表明其具有最好的識別穩(wěn)定性。殘差連接和動態(tài)卷積層的引入可以有效地提高模型的穩(wěn)定性。
測試集樣本的預(yù)測標(biāo)簽與實(shí)際標(biāo)簽形成的混淆矩陣如圖7所示?？梢钥闯?，這四種模型都能有效識別標(biāo)記為0、6、7、8、9、11、12、13、14、15的樣本。但值得注意的是，四種模型在識別標(biāo)簽2和標(biāo)簽10的樣品時存在一些錯誤，主要是將標(biāo)簽2的樣品部分歸類為標(biāo)簽3，將標(biāo)簽10的樣品部分歸類為標(biāo)簽11。這主要是由于，除了碳酸鈣外，標(biāo)簽2和標(biāo)簽3對應(yīng)的樣品在成分材料上是相同的。除淀粉外，標(biāo)簽10和11對應(yīng)的樣品在組成材料上是相同的。上述樣品中相似的成分使得所收集的高光譜圖像難以區(qū)分，這就是它們被錯誤分類的原因。
表2四種網(wǎng)絡(luò)模型的17種分類實(shí)驗(yàn)結(jié)果
圖7四種方法對17種塑料的分類結(jié)果。dy-resnet（a）, dy-cnn（b）, resnet（c）,cnn（d）
合理解釋本研究提出的方法在塑料識別任務(wù)中取得良好的效果十分必要。grad-cam可用于可視化基于cnn模型的模型識別過程。如圖8（a）所示，在區(qū)分可降解和不可降解塑料時，dy-resnet提取的特征光譜波段分布在可見光和近紅外范圍內(nèi)。此外，用于識別不可降解塑料的關(guān)鍵特征主要分布在580 ~ 860 nm范圍內(nèi)，用于識別可降解塑料的關(guān)鍵特征主要分布在680 ~ 1030 nm范圍內(nèi)。如圖8（b）所示，dy-resnet提取的特征光譜波段在區(qū)分17種塑料時也分布在可見光和近紅外范圍內(nèi)?？傮w而言，用于識別塑料種類的特征光譜波段主要集中在560 ~ 860nm范圍內(nèi)。然而，每種塑料的特征光譜波段的分布范圍是不同的。例如，標(biāo)記為15的樣品的特征光譜波段主要集中在可見光范圍，而標(biāo)記為12的樣品的特征光譜波段主要集中在近紅外范圍。因此，選擇380 ~ 1038 nm光譜波段進(jìn)行塑料識別，有助于充分探索不同塑料在不同光譜波段的特性。
圖8用于塑料識別的特征光譜可視化。2分類實(shí)驗(yàn)（a）, 17分類實(shí)驗(yàn)（b）
作者信息
門洪，博士，東北電力大學(xué)自動化工程學(xué)院教授，博士生導(dǎo)師。
主要研究方向：智能感知與模式識別。
參考文獻(xiàn)：
xia, x., wang, m., shi, y., huang, z., liu, j., men, h., & fang, h. (2023). identification of white degradable and non-degradable plastics in food field: a dynamic residual network coupled with hyperspectral technology. spectrochim acta a mol biomol spectrosc, 296, 122686.