原標(biāo)題：“AI+X射線檢測”助力的鋁合金壓鑄件缺陷研究

鋁合金壓鑄件具有較高的比強(qiáng)度、比剛度、耐腐蝕性，在汽車、航天航空、 電子產(chǎn)品和醫(yī)療設(shè)備等領(lǐng)域中得到廣泛應(yīng)用。實(shí)際壓鑄過程中由于原材料成分異常、模具設(shè)計(jì)不合理、工藝參數(shù)不當(dāng)?shù)染C合因素，會(huì)造成鋁合金壓鑄件內(nèi)部產(chǎn)生氣孔、縮孔和縮松、夾渣等缺陷。這些位于壓鑄件內(nèi)部的缺陷在交變應(yīng)力的作用下會(huì)進(jìn)一步擴(kuò)張，如果不及時(shí)發(fā)現(xiàn)會(huì)造成嚴(yán)重的安全隱患。為了在生產(chǎn)過程中檢測鋁合金壓鑄件的內(nèi)部缺陷，需采用X射線成像技術(shù)對(duì)其內(nèi)部缺陷進(jìn)行檢查。

目前有接近80%的鋁合金壓鑄件制造企業(yè)通過人工判定缺陷，采用人工判定缺陷的評(píng)價(jià)標(biāo)準(zhǔn)因人而異，很難統(tǒng)一，且易造成誤檢和漏檢。在判定過程中，質(zhì)檢員的檢測依據(jù)除了關(guān)注缺陷面積的大小外，還需要關(guān)注壓鑄缺陷所處的位置。鋁合金壓鑄件的關(guān)鍵位置包括臺(tái)階孔、通孔、螺紋孔等。為了滿足鋁合金壓鑄件的檢測需求，鋁合金壓鑄件內(nèi)部缺陷分割算法除了需要對(duì)內(nèi)部缺陷進(jìn)行分割外，還需要對(duì)零件中的關(guān)鍵位置進(jìn)行分割。為了滿足上述需求，需要圍繞鋁合金壓鑄件X射線圖像開展基于多任務(wù)學(xué)習(xí)的分割算法研究。

近年來，深度學(xué)習(xí)在計(jì)算機(jī)視覺、自然語言處理以及推薦算法等領(lǐng)域得到廣泛研究和應(yīng)用。基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）可以在具有大量數(shù)據(jù)的復(fù)雜場景中通過自學(xué)習(xí)的方式自動(dòng)獲取任務(wù)所需特征。MERY D設(shè)計(jì)了CNN模型Xnet-Ⅱ識(shí)別鋁合金鑄件內(nèi)部缺陷，提出了橢圓生成模型和對(duì)抗生成網(wǎng)絡(luò)來模擬鑄造缺陷擴(kuò)充缺陷樣本。研究者提出了一種空間注意雙線性卷積神經(jīng)網(wǎng)絡(luò)對(duì)鋁合金壓鑄件內(nèi)部缺陷類型進(jìn)行分類。提出了一種基于Mask R-CNN的鐵路鑄件X射線缺陷檢測算法，提出的模型可以較好地識(shí)別圖像中氣泡和縮松缺陷。提出了一種自適應(yīng)深度和感受野選擇的鑄件內(nèi)部缺陷分割網(wǎng)絡(luò)，在CNN中引入自適應(yīng)深度選擇模塊有助于鑒別相似的缺陷類型，提出的模型可以對(duì)X射線圖像中的缺陷進(jìn)行分割和分類。

基于多任務(wù)學(xué)習(xí)的語義分割算法通過將多個(gè)具有相關(guān)性的分割任務(wù)進(jìn)行融合，通過設(shè)計(jì)統(tǒng)一的分割模型對(duì)具有相關(guān)性任務(wù)從單一數(shù)據(jù)中提取互補(bǔ)的特征，提高各個(gè)任務(wù)的分割精度。研究者提出了FusionNet多任務(wù)分割模型，設(shè)計(jì)了邊界感知分支對(duì)目標(biāo)的邊界特征進(jìn)行監(jiān)督，提高模型在邊界區(qū)域的分割精度。設(shè)計(jì)了一個(gè)雙路的編碼模型，在提取邊界時(shí)引入了注意力機(jī)制模塊來提高模型在邊界的分割精度。提出了多任務(wù)分割模型來提取目標(biāo)主體特征，通過設(shè)計(jì)相應(yīng)的損失函數(shù)對(duì)主體特征和邊緣特征進(jìn)行監(jiān)督，提升模型在兩個(gè)任務(wù)中的分割性能。

鋁合金壓鑄件缺陷分割任務(wù)和關(guān)鍵位置分割任務(wù)之間不存在明顯的相關(guān)性，而在現(xiàn)有的多任務(wù)分割算法研究中，對(duì)于具有低相關(guān)性的多任務(wù)分割算法研究報(bào)道較少。本研究面向缺陷分割和關(guān)鍵位置分割的多任務(wù)分割算法開展研究，首先提出關(guān)鍵位置邊界感知解碼器以提高對(duì)關(guān)鍵位置的分割精度。為了提升對(duì)低相關(guān)性任務(wù)的特征提取能力，進(jìn)一步設(shè)計(jì)局部共享編碼模型提高模型，最后構(gòu)建交互式注意力模塊，將關(guān)鍵位置特征及其邊界特征進(jìn)行自適應(yīng)融合來提高兩個(gè)任務(wù)的分割精度，旨在為鋁合金壓鑄件缺陷檢測分析提供參考。

圖文結(jié)果

鋁合金壓鑄件關(guān)鍵位置及缺陷見圖1。鋁合金壓鑄件多任務(wù)分割模型（Casting Parts X-Ray Image Multi-Task Defect Segmentation Network，CXMTDS-Net）由3個(gè)模塊組成：局部共享雙路編碼模塊（Partly Parameters Sharing Two-Stream Encoder Module， PPSTSEM）、缺陷分割解碼器（Defect Segmentation Decoder，DSD）和關(guān)鍵位置解碼器（Key Location Segmentation Decoder，KLSD），見圖2。PPSTSEM模塊在淺層階段對(duì)編碼部分參數(shù)共享，在深層階段設(shè)計(jì)了針對(duì)不同任務(wù)的編碼分支用于提取兩個(gè)低相關(guān)性任務(wù)的語義特征。DSD模塊中采用解碼模型A和解碼模型B對(duì)編碼器中的特征進(jìn)行分層解碼得到缺陷區(qū)域。在KLSD中提出了針對(duì)關(guān)鍵位置分割的解碼器，設(shè)計(jì)了關(guān)鍵位置邊界分割解碼器用于提高對(duì)關(guān)鍵位置的分割精度，進(jìn)一步設(shè)計(jì)了交互式感知模塊，對(duì)關(guān)鍵位置特征和邊界特征進(jìn)行自適應(yīng)融合，提高了對(duì)邊界位置分割和邊界分割的性能。

針對(duì)鋁合金壓鑄件場景復(fù)雜且具有缺陷區(qū)域邊界的特性，提出一種基于深度學(xué)習(xí)的鋁合金壓鑄件X射線圖像缺陷分割網(wǎng)絡(luò)（Casting Parts X-Ray Image Defect Segmentation Network， CXDS-Net），見圖3。缺陷分割模型采用UNet架構(gòu)為骨干網(wǎng)絡(luò)，編碼器采用ResNet101模型以提高在復(fù)雜場景中提取有效特征的能力。

圖1 鋁合金壓鑄件關(guān)鍵位置及缺陷示例

圖2 鋁合金壓鑄件多任務(wù)分割模型結(jié)構(gòu)

圖3 鋁合金壓鑄件X射線圖像缺陷分割模型

由于壓鑄缺陷分割任務(wù)和鑄件關(guān)鍵位置分割任務(wù)之間的低相關(guān)性，直接在缺陷分割解碼器中引入關(guān)鍵位置分割解碼器并不能滿足分割需求。因此，設(shè)計(jì)了針對(duì)壓鑄件關(guān)鍵位置分割任務(wù)的解碼器（Key Parts Branch，KPB），見圖2。關(guān)鍵位置在X射線圖像中較為明顯，在解碼器中直接采用經(jīng)過原始圖像編碼后提取的特征即可獲取充足的關(guān)鍵位置處的紋理特征和深層語義特征。在本研究中，將原始圖像編碼的各層級(jí)輸出的特征圖分別用x0~x4來表示，關(guān)鍵位置分割解碼器中的解碼模塊A和B的具體結(jié)構(gòu)見圖4。雖然鋁合金壓鑄件中的關(guān)鍵位置在X射線圖像中的特征較為明顯，但是關(guān)鍵位置的外形和位置多樣，且在關(guān)鍵位置的部分邊界存在不連貫處，直接采用關(guān)鍵位置解碼器進(jìn)行分割時(shí)，部分分割結(jié)果會(huì)在邊界處的分割精度較低。提出邊界感知解碼器來對(duì)關(guān)鍵位置的邊界進(jìn)行分割，見圖5，根據(jù)編碼層級(jí)的不同，分別設(shè)計(jì)了3種邊界感知模塊（Edge-Aware Branch，EAB），在EAB_1中，利用編碼模塊中的淺層特征—x4特征圖像，同時(shí)進(jìn)行對(duì)關(guān)鍵位置分割及其邊界進(jìn)行分割。在EAB_2中，設(shè)計(jì)了3個(gè)解碼模塊分別利用編碼模塊中的x2、x3、x4特征圖同時(shí)進(jìn)行語義分割和邊界分割。在EAB_3中，設(shè)計(jì)了和KPB一致的解碼器結(jié)構(gòu)，充分利用了不同階段的編碼器的特征。在后續(xù)的試驗(yàn)中，將對(duì)設(shè)計(jì)基于不同融合階段的EAB模型進(jìn)行定量評(píng)價(jià)。

圖4 鋁合金壓鑄件關(guān)鍵位置分割模型結(jié)構(gòu)

圖5 邊界感知的關(guān)鍵位置分割解碼器策略

在高相關(guān)性的多任務(wù)分割任務(wù)中，研究者廣泛采用共享編碼器的方式同時(shí)對(duì)各個(gè)任務(wù)相關(guān)的特征進(jìn)行編碼，通過在多任務(wù)監(jiān)督下參數(shù)共享的編碼器可以提取互補(bǔ)的特征，分別提高各個(gè)任務(wù)的分割精度。對(duì)于低相關(guān)性的多任務(wù)分割編碼模型而言，在淺層編碼階段，可以從圖像中提取出鋁合金壓鑄件的結(jié)構(gòu)特征、邊界信息和壓鑄缺陷的紋理信息。在深層編碼階段會(huì)對(duì)不同的區(qū)域進(jìn)行深度語義特征提取，在同一編碼模塊中并不能提高有效的互補(bǔ)語義信息，這種直接參數(shù)共享編碼的方法反而會(huì)降低兩個(gè)任務(wù)的分割精度。

在淺層特征提取階段通過參數(shù)共享的方式同時(shí)對(duì)壓鑄缺陷的紋理特征和關(guān)鍵位置的紋理信息以及邊界特征進(jìn)行編碼。在提出的PPSTSEM中，新設(shè)計(jì)的深層編碼分支的卷積層參數(shù)與原始編碼對(duì)應(yīng)卷積層的模型參數(shù)保持一致，根據(jù)采用深層編碼層級(jí)的不同，可以將在PPSTSEM的深層編碼分支分為3種：只采用第5_1卷積層，采用第4_1、第5_1卷積層，采用第3_1、第4_1、第5_1卷積層，見圖6，在試驗(yàn)環(huán)節(jié)中將對(duì)采用不同層級(jí)的深層編碼階段進(jìn)行驗(yàn)證。

為了進(jìn)一步提高對(duì)關(guān)鍵位置分割任務(wù)的分割精度，提出了一種交互式注意力模塊（Interactive Attention Module，IAM），見圖7，通過采用與本任務(wù)具有高相關(guān)的其他任務(wù)的特征，引入注意力機(jī)制模塊獲取本任務(wù)特征的注意力圖，對(duì)提取的注意力圖取反獲得互補(bǔ)的注意力圖，將互補(bǔ)的注意力圖與來自其他任務(wù)的特征進(jìn)行像素級(jí)相乘來獲取與本任務(wù)互補(bǔ)的特征，進(jìn)一步與原始特征進(jìn)行像素級(jí)的相加來得到模塊的輸出特征。

圖6 局部參數(shù)共享雙路編碼方法

圖7 交互式感知模塊

構(gòu)建了汽車鋁合金壓鑄件X射線圖像的數(shù)據(jù)集，在實(shí)際的汽車零部件檢測過程中，檢測人員將待檢測的零件放置到X射線圖像檢測系統(tǒng)中。X射線檢測系統(tǒng)由4部分組成：X射線發(fā)射源、機(jī)械傳動(dòng)系統(tǒng)、數(shù)字平板探測器和計(jì)算機(jī)圖像處理系統(tǒng)。

在構(gòu)建的數(shù)據(jù)集中包含3 200張X射線圖像提供了缺陷區(qū)域的人工標(biāo)注結(jié)果，標(biāo)注的內(nèi)容主要包括：缺陷區(qū)域像素級(jí)、鋁合金壓鑄件中的關(guān)鍵位置及其邊界像素級(jí)，見圖8，其中汽車鋁合金壓鑄件中的關(guān)鍵位置主要包括待加工的孔、端面以及與其他零件配合的表面等。在鋁合金壓鑄件中，如果缺陷出現(xiàn)在關(guān)鍵位置時(shí)，會(huì)對(duì)下一工序的加工及零件后續(xù)的使用過程中造成較大的安全隱患。在質(zhì)檢過程中，需要重點(diǎn)關(guān)注這類關(guān)鍵位置的缺陷分布情況。

圖8 汽車鋁合金壓鑄件X射線圖像數(shù)據(jù)集標(biāo)注示例

表1 基準(zhǔn)模型在采用不同關(guān)鍵位置邊界感知解碼器的結(jié)果

表2 基準(zhǔn)模型在采用不同局部參數(shù)共享雙路編碼器的結(jié)果

本試驗(yàn)采用 CXDS-Net+ EAB_1 模型作為基準(zhǔn)網(wǎng)絡(luò)。由試驗(yàn)結(jié)果可知，提出的 3 種 PPSTSEM 均可以有效地提高模型在關(guān)鍵位置分割任務(wù)上的分割精度，其中PPSTSEM_2 在mIoUK和mIoUE 指標(biāo)上均達(dá)到最佳。

為了進(jìn)一步在保證缺陷分割精度的同時(shí)提高關(guān)鍵位置處的分割精度，提出了一種交互式注意力模塊，在關(guān)鍵位置解碼階段，通過對(duì)關(guān)鍵位置解碼特征和關(guān)鍵位置邊界解碼特征分別通過注意力機(jī)制模塊進(jìn)行互補(bǔ)融合來提高各自任務(wù)的分割精度。本試驗(yàn)以 CXDSNet+EAB_1 模型為基準(zhǔn)網(wǎng)絡(luò)，對(duì) IAM 模型的有效性進(jìn)行驗(yàn) 證 ，結(jié)果見表3。可以看出，在解碼階段引入IAM后，通過對(duì)關(guān)鍵位置特征及其邊界特征進(jìn)行互補(bǔ)融合后，模型在mIoUK和mIoUE指標(biāo)上均有所提升，從而驗(yàn)證了提出 IAM 對(duì)關(guān)鍵位置分割任務(wù)的有效性。進(jìn)一步對(duì)驗(yàn)證將各個(gè)模塊集成到基準(zhǔn)網(wǎng)絡(luò)后模型的有效性，試驗(yàn)結(jié)果見表4。由試驗(yàn)結(jié)果可知，提出的多任務(wù)缺陷分割模型可以同時(shí)提高在缺陷分割和關(guān)鍵位置分割這兩個(gè)具有低相關(guān)性任務(wù)的分割精度，可以很好地滿足在實(shí)際質(zhì)檢過程中同時(shí)對(duì)缺陷區(qū)域和關(guān)鍵位置區(qū)域分割的需求。

表3 基準(zhǔn)模型在采用交互式注意力模塊的結(jié)果

表4 多任務(wù)分割模型消融試驗(yàn)對(duì)比

圖9為CXDS-Net+KPB和提出的多任務(wù)分割模型CXMTDS-Net對(duì)關(guān)鍵位置及其邊界的分割結(jié)果示例。從分割結(jié)果可知，CXMTDS-Net模型相比于CXDS-Net+KPB對(duì)關(guān)鍵位置的分割性能有顯著提升，CXDS-Net+KPB僅在具有顯著邊界的關(guān)鍵位置的分割效果較好，而在邊界模糊的區(qū)域的分割精度需要進(jìn)一步改進(jìn)，而CXMTDS-Net在對(duì)關(guān)鍵位置邊界不明顯的區(qū)域具有更好的分割精度，見圖10，可見提出的模型可以實(shí)現(xiàn)對(duì)缺陷區(qū)域的精準(zhǔn)分割。

圖9 關(guān)鍵位置分割結(jié)果示例

圖10 CXMTDS-Net分割結(jié)果示例

針對(duì)缺陷分割和關(guān)鍵位置分割任務(wù)提出了多任務(wù)分割模型CXMTDS-Net，可以有效提升關(guān)鍵位置分割精度。為了提升顯著性目標(biāo)的分割精度，F(xiàn)AN D P等提出了一種反向注意力模塊（Reverse Attention Module，RAM），見圖11。通過該模塊可以挖掘分割區(qū)域與其邊界之間的內(nèi)在聯(lián)系，從而提高模型對(duì)目標(biāo)區(qū)域的分割精度。QIN X B等提出了一種殘差細(xì)化模塊（Residual Refinement Module，RRM），設(shè)計(jì)了一種編碼和解碼的結(jié)構(gòu)對(duì)模型預(yù)測的結(jié)果進(jìn)行修正，從而提高模型在邊界區(qū)域的分割精度。以CXDS-Net +EAB_2+ PPSTSEM_2為基準(zhǔn)網(wǎng)絡(luò)分別將RAM和RRM方法與基準(zhǔn)網(wǎng)絡(luò)融合與所提出的CXMTDS-Net模型進(jìn)行定量對(duì)比，從而驗(yàn)證提出的方法對(duì)提高關(guān)鍵位置分割精度的有效性，見圖12。

圖11 RAM模塊結(jié)構(gòu)示意圖

圖12 解碼模塊C和RMM結(jié)構(gòu)示意圖

表5 提出的CXMTDS-Net與其他方法的結(jié)果對(duì)比

結(jié)論

（1）針對(duì)鋁合金鑄件缺陷檢測，提出了關(guān)鍵位置邊界感知解碼模塊，對(duì)關(guān)鍵位置特征和邊界區(qū)域的特征分別進(jìn)行監(jiān)督，顯著提升關(guān)鍵位置分割精度，與基準(zhǔn)網(wǎng)絡(luò)相比 mIoUK上升了 0.7。

（2）設(shè)計(jì)了局部參數(shù)共享雙路編碼器，在淺層特征提取中參數(shù)共享，在深層編碼階段構(gòu)建針對(duì)不同任務(wù)的編碼分支，實(shí)現(xiàn)對(duì)低相關(guān)性任務(wù)的特征的高效提取，在mIoUK和mIoUE指標(biāo)上分別提高了1.1和0.7。

（3）探明了關(guān)鍵位置和關(guān)鍵位置邊界特征中的交互融合機(jī)制，開發(fā)了交互式注意力模塊，引入注意力機(jī)制對(duì)關(guān)鍵位置和邊界區(qū)域的特征進(jìn)行自適應(yīng)融合，有效提高模型對(duì)關(guān)鍵位置的分割精度，在mIoUK和mIoUE指標(biāo)上分別提高了0.4和1.8。

《鋁合金壓鑄件X射線圖像多任務(wù)分割方法研究》

杜旺哲1,2,3 劉元銘1,2,3 牛小淼1,2,3 王濤1,2,3

1.太原理工大學(xué)機(jī)械與運(yùn)載工程學(xué)院；2. 太原理工大學(xué)先進(jìn)金屬復(fù)合材料成形技術(shù)與裝備教育部工程研究中心；3. 太原理工大學(xué)金屬成形技術(shù)與重型裝備全國重點(diǎn)實(shí)驗(yàn)室

本文轉(zhuǎn)載自：《特種鑄造及有色合金》雜志社