背景

水分含量（Moisture content, MC）在海參腌制過(guò)程中起著重要作用。較高的MC會(huì)導(dǎo)致膠原纖維斷裂，使海參在儲(chǔ)存過(guò)程中更容易受損，較低的MC會(huì)降低海參的口感和營(yíng)養(yǎng)價(jià)值。準(zhǔn)確控制海參腌制過(guò)程中MC的含量，對(duì)海參的口感品質(zhì)和商品價(jià)值具有重要意義。

大量研究使用高光譜成像（Hyperspectral imaging, HSI）和低場(chǎng)核磁共振（Low field nuclear magnetic resonance, LF-NMR）研究水的遷移和變化并預(yù)測(cè)MC。HSI是一種用于探測(cè)淺水表面物理和化學(xué)性質(zhì)的快速、無(wú)損監(jiān)測(cè)技術(shù)。LF-NMR是另一種流行的無(wú)創(chuàng)檢測(cè)技術(shù)，用于監(jiān)測(cè)食品中水分狀態(tài)的變化和水分遷移。低頻核磁共振之所以有效，是因?yàn)楫?dāng)電磁脈沖（Electromagnetic pulse, EMP）在垂直方向輻射時(shí)，氫質(zhì)子由于能量從低能級(jí)到高能級(jí)的轉(zhuǎn)變而處于不穩(wěn)定狀態(tài)，而當(dāng)EMP消失時(shí)，這一過(guò)程是可逆的。對(duì)于海參淺層表面復(fù)雜的棘皮結(jié)構(gòu)和內(nèi)部復(fù)雜的腔體、體壁等結(jié)構(gòu)，HSI和LF-NMR聯(lián)合檢測(cè)可以更準(zhǔn)確地預(yù)測(cè)MC。

深度學(xué)習(xí)（Deep learning, DL）網(wǎng)絡(luò)可以減少模型對(duì)人類經(jīng)驗(yàn)的依賴，提高模型的泛化能力。CS（Cuckoo search）優(yōu)化算法通過(guò)提取數(shù)據(jù)的顯著特征實(shí)現(xiàn)降維，可以有效提高基于小樣本空間和低類間差異數(shù)據(jù)的模型性能。因此，本研究基于HSI和LF-NMR數(shù)據(jù)，采用DL網(wǎng)絡(luò)和CS優(yōu)化算法聯(lián)合構(gòu)建預(yù)測(cè)模型，對(duì)鹽漬海參的MC進(jìn)行預(yù)測(cè)分析。

具體研究目標(biāo)如下：（1）分別針對(duì)HSI和LF-NMR數(shù)據(jù)構(gòu)建基于變種CS算法的MC深度學(xué)習(xí)預(yù)測(cè)模型；（2）通過(guò)探索模型的性能，確定了HSI和LF-NMR的*優(yōu)模型；（3）根據(jù)*優(yōu)模型和核磁共振成像（Magnetic resonance imaging, MRI），分別基于HSI和LF-NMR數(shù)據(jù)可視化MC分布；（4）構(gòu)建基于融合數(shù)據(jù)的MC的Fusion-net DL（FDL）預(yù)測(cè)模型，并與以往基于單一數(shù)據(jù)的模型進(jìn)行比較，選擇*終的*優(yōu)模型。

試驗(yàn)設(shè)計(jì)

大連工業(yè)大學(xué)王慧慧教授團(tuán)隊(duì)利用Image-λ-N17E近紅外高光譜成像系統(tǒng)（江蘇雙利合譜公司）獲取了510個(gè)不同腌制處理下的海參高光譜影像（圖1a）。高光譜數(shù)據(jù)由350張640×803像素的單波段光譜圖像組成，波長(zhǎng)范圍為934.8 ~ 1710.6 nm。如圖1e所示，將鹽漬海參樣品置于核磁共振分析儀（Niumag電氣公司）中進(jìn)行LF-NMR測(cè)，得到如圖1f所示的橫向松弛曲線。每個(gè)腌制周期取同一樣品進(jìn)行MRI分析，通過(guò)自旋回波成像序列獲得MC在不同腌制時(shí)間的氫質(zhì)子MRI（圖1g）。

數(shù)據(jù)的強(qiáng)相關(guān)性可能導(dǎo)致“維度詛咒”，有必要對(duì)冗余的高維信息進(jìn)行降維處理。使用CS算法選擇特征，如圖1h所示。針對(duì)不同的應(yīng)用領(lǐng)域，CS有不同的變體，本研究使用的三個(gè)變體分別為T(mén)raditional-CS（TCS）、Binary-CS（BCS）和Chaotic-CS（CCS）。

將降維后的數(shù)據(jù)輸入到相應(yīng)的模型中進(jìn)行訓(xùn)練，選擇*優(yōu)模型（圖1i），實(shí)現(xiàn)MC分布變化的可視化（圖1j）。在本文中，MC的預(yù)測(cè)模型包括基于高光譜數(shù)據(jù)的單獨(dú)DL模型、基于LF-NMR數(shù)據(jù)的單獨(dú)DL模型和基于HSI和LF-NMR數(shù)據(jù)的FDL模型。對(duì)于HSI數(shù)據(jù)，DL框架中使用了兩個(gè)1D卷積層，分別包含32個(gè)和64個(gè)卷積核，大小為1×3（圖2a）。

對(duì)于LF-NMR數(shù)據(jù)，DL框架的總體結(jié)構(gòu)與上述HSI相同。但對(duì)于LF-NMR曲線，除了縱向數(shù)值差異外，吸收峰也有明顯的橫向位移。因此，LF-NMR數(shù)據(jù)比HSI數(shù)據(jù)更復(fù)雜，需要更多的卷積核來(lái)提取潛在特征來(lái)解決這種復(fù)雜的情況。因此，如圖2b所示，將大小為1×3的64、128和256個(gè)卷積核組成的三個(gè)卷積層應(yīng)用于LF-NMR預(yù)測(cè)模型。對(duì)于HSI和LF-NMR，分別建立了基于整體和降維數(shù)據(jù)（W和DR）的MC預(yù)測(cè)深度學(xué)習(xí)模型，并討論了它們之間的性能差異。

圖2c給出了MC融合預(yù)測(cè)模型的融合策略。將約簡(jiǎn)后的兩種特征分別放入相應(yīng)的DL框架中，在flatten層和dense層之間添加concatenate層，將兩種特征合并。

圖1 研究流程圖

圖2 多種深度學(xué)習(xí)模型?；诠庾V的深度學(xué)習(xí)模型（a）；基于LF-NMR的深度學(xué)習(xí)模型（b）；融合深度學(xué)習(xí)模型（c）。

結(jié)論

圖3為不同腌制階段樣品的光譜反射率變化圖。在圖3a中，不同腌制時(shí)間樣品的光譜反射率變化趨勢(shì)大致一致。但在1100 nm之前，0 h樣品的反射率值與其他樣品相差很大?？梢缘贸鼋Y(jié)論，腌制過(guò)程的持續(xù)時(shí)間將是導(dǎo)致反射率變化的重要因素。在960 nm、1190 nm和1430 nm處可以觀察到三個(gè)明顯的吸收峰。在圖3b中，平均光譜反射率呈現(xiàn)出與腌制時(shí)間相關(guān)的變化規(guī)律，在960 nm左右，隨著腌制時(shí)間的延長(zhǎng)，反射率顯著增加，說(shuō)明樣品內(nèi)部水分有所降低。在1190 nm左右，反射率逐漸增大，說(shuō)明海參樣品中的脂質(zhì)和蛋白質(zhì)含量在腌制過(guò)程中損失較慢。

圖3 不同腌制階段海參樣品的平均光譜反射率曲線

海參樣品在各腌制周期的CPMG弛豫衰減曲線和T2弛豫光譜如圖4所示。如圖4a所示，樣品中質(zhì)子的衰變速率隨著腌制時(shí)間的延長(zhǎng)而增加，在前三個(gè)腌制階段變化較大。由此可以推斷，在腌制初期，樣品中大量水分流失，樣品中氫質(zhì)子的含量同時(shí)下降，導(dǎo)致質(zhì)子衰變速率明顯增加。在腌制過(guò)程后期，樣品的內(nèi)部和外部幾乎接近滲透壓平衡，導(dǎo)致MC變化很小。如圖4b所示，在未腌制（0 h）的海參弛豫曲線上存在3個(gè)質(zhì)子弛豫峰，分別為束縛水（T21）、不動(dòng)水（T22）和游離水（T23）。腌制處理后，T21先減少后消失，T22和T23逐漸減少。隨著腌制時(shí)間的增加，海參樣品中的束縛水向右遷移，逐漸變?yōu)椴粍?dòng)水。不動(dòng)水向左移動(dòng)并壓實(shí)。隨著時(shí)間的推移，游離水也會(huì)轉(zhuǎn)移到剩余的地方，很容易丟失，從而創(chuàng)造了一個(gè)抑制微生物活動(dòng)的環(huán)境，這有利于海參的儲(chǔ)存。

圖4 LF-NMR數(shù)據(jù)

結(jié)合CS降維算法和1D-CNN DL框架，構(gòu)建了基于HSI、LF-NMR信息的MC預(yù)測(cè)模型。圖5為基于全部特征的MC估測(cè)模型精度圖。證明了DL框架適用于基于HIS以及LF-NMR數(shù)據(jù)的MC預(yù)測(cè)。將HSI中所有波長(zhǎng)和LF-NMR中時(shí)間點(diǎn)對(duì)應(yīng)的數(shù)據(jù)輸入到FDL框架中進(jìn)行MC計(jì)算。預(yù)測(cè)效果如圖5e和圖5f所示，可以看到W-FDL具有明顯的優(yōu)勢(shì)。這表明兩類數(shù)據(jù)在訓(xùn)練中是相輔相成的，即在單一數(shù)據(jù)類型中，不可避免的會(huì)出現(xiàn)個(gè)別數(shù)據(jù)的異常導(dǎo)致某一樣本的預(yù)測(cè)失敗，但同一樣本的兩類數(shù)據(jù)幾乎不可能同時(shí)出現(xiàn)異常，這為預(yù)測(cè)模型的準(zhǔn)確性提供了保證。

圖5 HSI-W-DL模型在校準(zhǔn)集（a）和預(yù)測(cè)集（b）、LF-NMR-WDL模型在校準(zhǔn)集（c）和預(yù)測(cè)集（d）、W-FDL模型在校準(zhǔn)集（e）和預(yù)測(cè)集（f）的模型精度。

圖6為三種不同降維算法在HSI數(shù)據(jù)集中選擇的具體波段，用虛線表示。TCS選擇的20個(gè)波段如圖6a所示，在整個(gè)波長(zhǎng)范圍內(nèi)分散，既提供了豐富的信息，又降低了相關(guān)性。圖6b為BCS算法選取的159個(gè)波段，雖然在1000-1050 nm、1200-1250 nm和1500-1600 nm波長(zhǎng)范圍內(nèi)所選波段的密度高于其他地區(qū)，但其分布基本覆蓋了整個(gè)波長(zhǎng)范圍。這意味著所有的特征都包含在選擇的波段中，BCS通過(guò)大幅減少數(shù)據(jù)量來(lái)降低計(jì)算成本，而不是消除非顯著特征，這可能不利于提高模型的泛化能力，并可能導(dǎo)致過(guò)擬合現(xiàn)象。圖6c顯示了CCS選擇的20個(gè)特定波段，所選波段在全波長(zhǎng)范圍內(nèi)的分布比TCS更加離散。在優(yōu)化過(guò)程中，前20次迭代HSI-TCS-DL和HSI-CCS-DL的MSE遠(yuǎn)小于HSI-BCS-DL，50次迭代后HSI-BCS-DL的MSE沒(méi)有減小。同時(shí)，自第10次迭代以來(lái)，HSI-CCS-DL的MSE約為HSI-TCS-DL的一半，證明混沌映射算法在尋找*優(yōu)解方面優(yōu)于隨機(jī)算法。

圖6 選自HSI-TCS-DL（a）、HSI-BCS-DL（b）、HSI-CCS-DL（c）模型的具體波段以及HSI-TCS-DL（d）、HSI-BCS-DL（e）、HSI-CCSDL（f）模型的MSE衰減。

圖7顯示了HSITCS-DL、HSI-BCS-DL和HSI-CCS-DL模型的性能。與全數(shù)據(jù)模型相比，特征約簡(jiǎn)后的數(shù)據(jù)點(diǎn)更收斂于45°直線，對(duì)較低MC值的預(yù)測(cè)效果提高*為顯著。與HSI-W-DL相比，HSI-TCS-DL模型的準(zhǔn)確性和穩(wěn)定性得到了顯著提高，表明降維后的數(shù)據(jù)更具代表性。雖然HSI-BCS-DL的性能比HSI-W-DL略有提高，但在數(shù)據(jù)適應(yīng)性和預(yù)測(cè)精度方面不如HSI-TCS-DL。與HSI-TCS-DL模型相比，HSI-CCS-DL的性能有所提升，這是因?yàn)樵贑CS降維算法中使用混沌序列初始化種群，有效地解決了模型因隨機(jī)初始化而陷入局部*優(yōu)解的問(wèn)題。根據(jù)上述對(duì)比，在HSI數(shù)據(jù)中，選擇CCS作為*優(yōu)降維算法，確定HSI-CCS-DL模型為*優(yōu)模型。

基于HSI-CCS-DL的MC可視化如圖8所示?？梢郧逦仫@示樣品淺表面同一階段內(nèi)不同點(diǎn)的MC差異以及不同階段間的變化規(guī)律。海參沒(méi)有腌制時(shí)，基本呈藍(lán)色，說(shuō)明其MC*高。隨著腌制時(shí)間的延長(zhǎng)，中間區(qū)域的顏色由藍(lán)色變?yōu)榫G色，*終變?yōu)辄S色，同時(shí)黃色域逐漸向邊緣擴(kuò)展。

圖7 HSI-TCS-DL模型在校準(zhǔn)集（a）和預(yù)測(cè)集（b）、HSI-BCS-DL模型在校準(zhǔn)集（c）和預(yù)測(cè)集（d）、HSI-CCS-DL模型在校準(zhǔn)集（e）和預(yù)測(cè)集（f）的模型精度。

圖8 基于HSI-CCS-DL模型的海參腌制過(guò)程MC分布可視化

圖9詳細(xì)描述了LF-NMR-TCS-DL、LF-NMR-BCS-DL和LF-NMR-CCS-DL的特征選擇以及MSE衰減結(jié)果。CCS算法是*優(yōu)的，BCS算法提前收斂，但三種算法的結(jié)果差異減小。對(duì)于LF-NMR數(shù)據(jù)，選擇CCS作為*優(yōu)降維算法，并確認(rèn)LF-NMR-CCS-DL為*優(yōu)模型，這與HSI數(shù)據(jù)的結(jié)果一致。

圖9 利用LF-NMR-TCS-DL（a）, LF-NMR-BCS-DL（b）, LF-NMR-CCS-DL（c）模型選擇的波段以及其MSE衰減（d）。

結(jié)合HSI和LF-NMR數(shù)據(jù)的FDL框架用于海參MC預(yù)測(cè)。由于前文確定CCS降維算法效果*好，因此選擇CCS和FDL框架構(gòu)建CCS-FDL模型。如圖10所示，校正集和預(yù)測(cè)集的R2均達(dá)到0.99。在數(shù)據(jù)點(diǎn)的分布上，圖10a中的訓(xùn)練集的數(shù)據(jù)點(diǎn)更加緊湊，更接近真實(shí)值，圖10b中的預(yù)測(cè)集也出現(xiàn)了同樣的情況。FDL框架的優(yōu)異性能可能是由于HSI和LF-NMR數(shù)據(jù)之間的互補(bǔ)優(yōu)勢(shì)，即在檢測(cè)過(guò)程中，同時(shí)使用HSI和LF-NMR數(shù)據(jù)可以大大減少單個(gè)數(shù)據(jù)不準(zhǔn)確造成的預(yù)測(cè)偏差。各模型的比較分析結(jié)果見(jiàn)表1?？梢钥闯?，對(duì)于FDL框架，基于HSI和LF-NMR數(shù)據(jù)的模型的性能都得到了顯著提高，特別是在整個(gè)數(shù)據(jù)模型中，并且CCS-FDL模型使用40個(gè)特征輸入實(shí)現(xiàn)了*佳性能。

圖10 在HSI和LF-NMR數(shù)據(jù)集中使用CCS提取特征的FDL模型的預(yù)測(cè)結(jié)果

表1 基于FW、TCS、BCS和CCS的深度學(xué)習(xí)模型性能

作者信息

王慧慧，博士，大連工業(yè)大學(xué)機(jī)械工程與自動(dòng)化學(xué)院教授，博士生導(dǎo)師。

主要研究方向：基于機(jī)器視覺(jué)的智能檢測(cè)研究、裝備數(shù)字化設(shè)計(jì)。

參考文獻(xiàn)：

Zeng, F., Shao, W., Kang, J., Yang, J., Zhang, X., Liu, Y., & Wang, H. (2022). Detection of moisture content in salted sea cucumbers by hyperspectral and low field nuclear magnetic resonance based on deep learning network framework. Food Res Int, 156.

https://doi.org/10.1016/j.foodres.2022.111174