基于深度學習和 CT 影像的 新型冠狀病毒肺炎病灶分割
文:毛麗 1,2 李秀麗 12021年第一期
胸部 CT 圖像中新型冠狀病毒肺炎(COVID-19) 病灶的準確分割可以為診斷提供助力。新型冠狀病毒肺炎在 CT 影像上的表現(xiàn)包括磨玻璃影、實變、胸腔積液病灶等,這些征象的紋理、大小和位置變化較大。該研究提出的深度神經網絡 RCB-UNet ++,可以用于新型冠狀病毒肺炎在 CT 影像上的分割問題。該網絡在 UNet ++網絡的基礎上,增加了殘差模塊和卷積塊注意力模塊。此架構能有效地提取底層的紋理信息和高層的語義信息,并基于注意力機制優(yōu)化模型效果。該研究所提出的 RCB-UNet ++模型經過在 45 例樣本上的訓練后,在 50 例測試集上的 Dice 系數(shù)達到了 0.715,且敏感性和特異性分別達到了 0.754 和 0.952,超過基于同樣數(shù)據劃分的其他已發(fā)表的深度學習模型。這表明所提出的算法有效地提高了分割效果,具有從 CT 圖像中全自動分割新型冠狀病毒肺炎病灶的潛力。
1引言
2019 年 12 月以來,新型冠狀病毒 (COVID-19) 在全球
范圍內廣泛而快速地傳播。根據美國約翰斯·霍普金斯大學系統(tǒng)科學與工程研究中心發(fā)布的數(shù)據,截至 2020 年 9 月 18 日,
全球已有 30 065 728 例確診病例。該疾病傳染性強,嚴重時可引起嚴重的急性呼吸困難或多器官功能衰竭。世界衛(wèi)生組織于 2020 年 1 月 30 日宣布 COVID-19 疫情為 “國際關注的突發(fā)公共衛(wèi)生事件”。
研究表明,計算機斷層掃描(CT) 作為一種非侵入性的影像學檢查方法,對檢測 COVID-19 感染患者的肺部病變具有重要價值。CT 在診斷COVID-19 方面的敏感性遠高于反轉錄聚合酶鏈反應(RT-PCR)。因此,CT 可以作為早期發(fā)現(xiàn)和診斷COVID-19 的有效工具。此外,通過對炎癥病灶進行定量分析可以得到 COVID-19 相關的診斷結果。然而,人工勾畫炎癥病灶是一項十分繁重的工作,且高度依賴于專家的臨床經驗。因此, 構造肺炎病灶的分割模型,可以提高勾畫的效率、準確性和可重復性,為進一步定量分析奠定良好的基礎。
目前,深度學習已被初步應用于 COVID-19 的分割和診斷
任務。然而,由于 COVID-19 的病灶紋理、大小和位置變化較大, 且與正常組織間差異較小,因此為分割模型的構造帶來了較大的挑戰(zhàn)。此外,數(shù)據的收集和標注也十分困難。盡管,Inf-Net 提出了新的網絡結構和 Loss 形式,并通過挖掘更多病灶邊界的信息,提高了模型的分割能力。但是,該方法較為復雜,需要提前計算分割區(qū)域的邊界,無法進行端到端的分析。Zhang 等構造的 COVID-19 病灶分割模型,可以用于分割 6 種類型的肺部結構,包括肺部區(qū)域、磨玻璃病灶、肺實變病灶、肺纖維化、間質增厚和胸腔積液。但是,該方法需要大量的訓練數(shù)據。
本研究在 UNet ++網絡模型的基礎上,融合了殘差模塊和卷積塊注意力模塊, 提出 RCB-UNet ++模型。RCB- UNet ++可以利用較少的數(shù)據進行訓練,以實現(xiàn)端到端的COVID-19 炎癥病灶區(qū)域分割。
2材料和方法
2.1數(shù)據
本文基于公開的 COVID-19 CT 分割數(shù)據集進行訓練和測試。該數(shù)據集由意大利醫(yī)療和介入放射協(xié)會收集,并由一位放射科醫(yī)生逐像素勾畫,其中勾畫病灶包括磨玻璃、肺實變和胸腔積液。因為圖像是由不同的設備和采集協(xié)議所得,所以數(shù)據集在分辨率和圖像質量上呈現(xiàn)多樣化。該數(shù)據集共 100 例數(shù)據, 來自超過 40 個確診為 COVID-19 的病例。其中 45 例數(shù)據用于模型訓練,5 例用于模型驗證,50 例用于測試,劃分方式和Inf-Net 模型的構造過程一致。此外,將所有磨玻璃、肺實變和胸腔積液病灶合并為炎癥病變區(qū)域,作為模型的分割目標。
2.2方法
2.2.1RCB-UNet ++網絡構造
UNet ++優(yōu)化了 U-Net 的網絡拓撲結構,提高了對不同層次特征的捕獲能力。為進一步提高模型的參數(shù)利用效率和表達能力,本文使用 Residual Block 替代原始的 VGG 結構。對于醫(yī)學圖像而言,不同器官本身的相對位置可以提供更多的先驗信息。例如,肺炎病灶一定是在肺部區(qū)域,而不會在隔膜上發(fā)生。因此,引入注意力機制,可以有效地提高模型的表現(xiàn)。在模型的下采樣過程中,每一個殘差模塊都連接卷積塊注意力模塊(CBAM),確保提取有效的空間信息和特征通道。此外, 基于深度監(jiān)督的方式,能進一步提高梯度的傳播能力。RCB- UNet ++模型的總體網絡結構如圖 1(a) 所示。
2.2.2殘差模塊
殘差模塊被設計用于處理卷積神經網絡較深時出現(xiàn)的梯度消失問題,具體如圖 1(b) 所示。殘差模塊通過躍層鏈接(Shortcut Connection),把模塊的輸入連接到后面的層,使得后面的層可以直接學習殘差。這種結構優(yōu)化了模型的學習目標,降低了學習難度,使得在模型較深時也可以保持較好的擬合果。
2.2.3卷積塊注意力模塊
對于網絡結構中間的特征圖,注意力機制可以應用在空間和通道兩個維度,分別推斷出注意力權重,然后將注意力權重和原特征圖相乘,得到新的特征圖。卷積塊注意力模塊可以對模型特征圖的空間和通道的重要性進行自適應調整。由于卷積塊注意力模塊是一個輕量級的模塊,它可以嵌入到任何卷積神經網絡架構中。卷積塊注意力模塊的示意圖如圖 1(c) 所示。該模塊由通道注意力模塊和空間注意力模塊組成。通道注意力模塊為特征圖的每一個通道分配一個權重。其中,特征圖的每一個通道可以看作一個特征提取器,通過對通道增加注意力機制, 可以使模型更注重有效的特征,大大提高了網絡的表達能力。空間注意力模塊考慮特征圖的哪一個區(qū)域應該有更高的響應, 將空間注意力模塊的輸出和特征圖進行像素級別的點乘,即可得到加權后的特征圖。具體如公式 (1) ~ (2) 所示:
其中,MC 為通道維度上的注意力圖像提取操作;MS 為空間維度上的注意力圖像提取操作; 為像素級別的點乘; 為輸入的特征;為經過通道維度的權重調整后得到的特征;為經過空間維度的權重調整后得到的特征。
2.2.4損失函數(shù)
二分類交叉熵損失函數(shù)是分割模型常用的損失函數(shù),等效于最小化相對熵的差異,具體如公式 (3) 所示:
其中,Lbce 為二分類交叉熵損失函數(shù);N 為像素點的個數(shù); 為某個像素的真實類別; 為像素被預測為陽性( 屬于肺炎病灶 ) 的概率。Dice 損失函數(shù)直接優(yōu)化模型的目標,使預測和真實分割之間的 Dice 系數(shù)最大化,具體如公式 (4) 所示:
其中,Ldice 為 Dice 損失函數(shù);X 為模型的預測結果張量; Y 為真實的分割結果張量; 由 X 和 Y 逐像素相乘計算獲得; 和 分別為預測結果和真實分割的張量的模。
相比于交叉熵損失,Dice 損失更加直接,往往可以取得更好的結果。而且,Dice 損失可以更好地處理類別不均衡的問題, 即預測前景像素個數(shù)和背景像素個數(shù)差異較大的問題。但是, 其梯度的形式不如二分類交叉熵損失函數(shù)良好。對于 Dice 損失而言,在極端場景下,梯度會變得非常大,導致模型的訓練更加不穩(wěn)定。因此,本實驗綜合二分類交叉熵損失和 Dice 損失, 具體如公式 (5) 所示:
為了提高模型隱藏層學習的直接性和透明度,本模型采用深度監(jiān)督的方式訓練網絡。首先,對每個隱藏層引入伴隨目標函數(shù),即對節(jié)點 X 0,1、X 0,2、X 0,3、X 0,4 均添加輸出層 (1×1 卷積層 )。然后對于每一個輸出層,基于如公式 (5) 所述的損失函數(shù)進行優(yōu)化。
2.2.5模型訓練
由于訓練數(shù)據較少,因此,進行數(shù)據增強可以提高網絡的魯棒性,降低過擬合。本實驗所用數(shù)據增強方法包括隨機擴大和縮小、隨機裁剪、隨機亮度和對比度調整。本實驗首先將圖像統(tǒng)一為 128×128 的像素大小,然后按 0.8 ~ 1.2 的隨機比例縮放,再隨機裁剪為 128×128 的像素大小,并以 0.3 的概率進行隨機亮度和對比度調整。
本模型基于 Adam 算法來優(yōu)化模型參數(shù)。實驗共訓練 500個輪次,設置 Adam 優(yōu)化算法的初始學習率為 0.001。最后, 在整個訓練過程中,選擇驗證集上交并比(IOU) 最大的模型作為輸出模型。此外,為了提高模型的泛化性能,設置權重衰減(Weight Decay) 系數(shù)為 0.001。
2.2.6模型評估
為評估模型的表現(xiàn),本實驗使用了和文獻相同的方式,并基于該工作公開的評估代碼評估模型在測試集上的結果。即基于不同閾值來計算相關指標,然后求取均值,作為最終的評估結果。評估指標包括常用的參數(shù),如 Dice 相似系數(shù)、敏感性、特異性和準確性。另外,本文模型引入了目標檢測領域的相關評估方法,包括結構度量 (Structure Measure)、配準增強度量 (Enhanced-Alignment Measure) 和平均絕對誤差 (Mean Absolute Error)。
結構度量 Sa 用于評估模型預測結果和真實分割之間的相似性,這種度量方式更加符合人類認知,具體如公式 (6) 所示:
其中, 為平衡系數(shù),本實驗設置 為 0.5,和原始文獻相同;So 為對象感知相似性;Sr 為區(qū)域感知相似性。Sp 為輸出的預測結果;G 為真實的分割。
配準增強度量可以度量兩個二值矩陣的相似性,該方法可以同時度量局部特征和整體特征,具體如公式 (7) 所示:
其中,w 和 h 為圖像的寬和高;(x, y) 為圖像中的像素坐標; 為增強配準矩陣。首先,通過 0 ~ 1 的 256 個等分的閾值分別計算;然后,把所有的均值作為最終的度量指標。該指標不是僅考慮某一個閾值下模型的表現(xiàn),而是綜合所有閾值結果,因此對閾值具有魯棒性。
平均絕對誤差(MAE) 度量模型的預測結果和真實分割之間的誤差,具體如公式 (8) 所示:
3結果
模型在 500 個訓練輪次上的損失函數(shù)值變化和 IOU 變化如圖 2 所示。隨著模型的訓練過程,訓練集的 Loss 不斷下降、IOU 不斷上升。在驗證集上沒有出現(xiàn)明顯的過擬合現(xiàn)象,說明數(shù)據增強策略有效提高了模型的泛化能力。最終,選擇了在驗證集上 IOU 最高的模型,即第 475 個訓練輪次的模型。該模型在訓練集、驗證集和測試集上以 0.5 位閾值二值化后的分割結果的 IOU 達到了 0.75、0.73 和 0.66。
模型的分割結果如圖 3 所示。對模型的輸出結果以 0.5 為閾值進行二值化,可以得到最終預測的分割結果。在該閾值下, 模型的 Dice 系數(shù)達到了 0.734±0.129。
對于 0 ~ 1 的 256 個等間隔的閾值,本模型在測試集上的Dice 系數(shù)達到了 0.715,超過了僅用 COVID-19 CT 分割數(shù)據集訓練的 Inf-Net 模型。此外,基于同樣的數(shù)據集和同樣的測量方法,本模型優(yōu)于其他傳統(tǒng)分割模型。同時,模型的敏感性、特異性、 和 MAE 均有更好的表現(xiàn),尤其是敏感性,相比之前的模型有較大的提升。盡管Sa 略低于 Inf-Net,但優(yōu)于其他分割模型 ( 表 1)。
4討論與分析
基于 CT 圖像的 COVID-19 的病灶分割在臨床診斷和治療的過程中具有非常重要的應用價值。通過計算機輔助診斷技術實現(xiàn)新 COVID-19 病灶分割,可以減輕醫(yī)生勾畫病灶邊界的工作,提高工作效率,同時提高了勾畫的一致性和可重復性。COVID-19 病灶的分割結果,可助力于臨床診斷、定量分析和影像組學分析,具有較高的臨床應用價值。
本模型基于 Unet ++網絡,增加了注意力機制模塊,對空間重要性和通道重要性進行分析。同時,在殘差模塊引入了躍層連接,提高了模型的表達能力和梯度的傳播。此外,本實驗是基于深度監(jiān)督的方式來訓練模型。最終,模型對 CT 圖像上 COVID-19 病灶的分割表現(xiàn)有所提高。
Inf-Net 提出了新的網絡結構和 Loss 形式,通過挖掘更多病灶的邊界信息,提高模型的分割能力。相比于 Inf-Net,本模型的敏感性、特異性、 和 MAE 均有更好的表現(xiàn)。尤其是敏感性從 0.692 提高到了 0.754?;?Inf-Net 的網絡架構和 1600 張無標注圖像,可以訓練半監(jiān)督模型 (Semi-Inf-Net)。而本實驗沒有進行半監(jiān)督模型的構造,可以預見的是,引入半監(jiān)督的訓練策略后,本模型結構的表現(xiàn)會有進一步的提升。
Zhang 等構造的 COVID-19 分割模型是基于 4965 張逐像素人工標注的 CT 圖像進行訓練的,最終達到了 0.59 的Dice 系數(shù)。盡管該模型可用于分割更多種類的病灶,但模型訓練集遠大于本文所提出的模型。對于較小的數(shù)據集上的訓練,本模型提供了一種行之有效的方式。相比于基于UNet ++模型和其他傳統(tǒng)分割模型,本文所提出模型的性能有較大提升。
值得一提的是,本研究所用的數(shù)據集為公開數(shù)據集,僅由一位放射科醫(yī)生進行標注。因此,在應用到臨床任務之前,仍需要多位醫(yī)生進行嚴謹?shù)臉俗⒑蛯徍?,并基于多中心對泛化性能進行廣泛的驗證。
5結論
本文所提出的模型通過引入殘差模塊和卷積塊注意力模塊
改進了 Unet ++,是一種基于深度監(jiān)督方式的訓練模型。在COVID-19 病灶紋理、大小和位置變化較大且與正常組織間差異較小的條件下,本方法通過對訓練數(shù)據和人體解剖信息的充分利用,提高了模型對 COVID-19 肺炎病灶的分割效果。
該模型可用于CT 圖像上的COVID-19 病灶分割,從而減少醫(yī)生勾畫肺炎病灶的時間,提高勾畫效率和勾畫的一致性、客觀性。達到輸入一組胸部 CT 圖像,即可輸出一組分割 CT 圖像的效果,實現(xiàn)了全自動分割 COVID-19 病灶區(qū)域的目的。
5.3.3 討論與分析
從優(yōu)化并行文件系統(tǒng)性能的框架上來看,相比于文獻,本文所提出的基于機器學習的動態(tài)分區(qū)并行文件系統(tǒng)優(yōu)化架構可以自動地選取出合適的參數(shù)配置,從而達到對系統(tǒng)性能的優(yōu)化,而文獻則需要通過實驗嘗試才能判斷一個參數(shù)配置是否能夠優(yōu)化并行文件系統(tǒng)的性能。基于機器學習的優(yōu)化框架通過其所學習到的信息來對參數(shù)配置進行判斷,使得本方法更加靈活。
而從動態(tài)地對并行文件系統(tǒng)性能進行優(yōu)化的角度來看,本文所提出的算法可以預先學習在不同系統(tǒng) I/O 模式下的系統(tǒng)分區(qū)配置優(yōu)化情況,從而使得動態(tài)地根據系統(tǒng)的實時 I/O 模式進行動態(tài)分區(qū)配置調整變得可行。而文獻所提出的方法則無法對系統(tǒng)性能進行動態(tài)的優(yōu)化。
在優(yōu)化所使用的算法上,本文采用了邏輯回歸模型。隨著深度神經網絡的迅猛發(fā)展,在對并行文件系統(tǒng)進行優(yōu)化的同時也可以考慮使用深度學習算法,如文獻 [14] 中所使用到的深度強化學習算法,以學習更加靈活、魯棒的優(yōu)化模型。
6總結與展望
本文基于應用系統(tǒng)的訪問模式及分區(qū)尺寸對并行文件系統(tǒng)訪問性能有顯著影響這一特點,利用機器學習的技術對特定應用系統(tǒng)的 I/O 訪問模式進行分析歸納,挖掘主要性能影響因素和主要性能指標之間的關系、規(guī)律并生成基于機器學習的優(yōu)化模型,進而利用生成的機器學習模型來指導并行文件系統(tǒng)的參數(shù)優(yōu)化工作,以達到優(yōu)化并行文件系統(tǒng)整體訪問性能的目的。
本文提出采用機器學習方法來進行并行文件系統(tǒng)的性能優(yōu)化,但具體實現(xiàn)時,僅以分區(qū)尺寸這一主要的性能因素進行;評價性能也只選用兩個最常用的性能評價指標 IOPS 和吞吐量,因此未來可以進一步地探索其他的性能影響因素和性能評價指標。
聲明:本文版權為中國傳動網所有,歡迎轉載但請務必注明來源、作者。
中傳動網版權與免責聲明:
凡本網注明[來源:中國傳動網]的所有文字、圖片、音視和視頻文件,版權均為中國傳動網(www.connectcrack.com)獨家所有。如需轉載請與0755-82949061聯(lián)系。任何媒體、網站或個人轉載使用時須注明來源“中國傳動網”,違反者本網將追究其法律責任。
本網轉載并注明其他來源的稿件,均來自互聯(lián)網或業(yè)內投稿人士,版權屬于原版權人。轉載請保留稿件來源及作者,禁止擅自篡改,違者自負版權法律責任。
如涉及作品內容、版權等問題,請在作品發(fā)表之日起一周內與本網聯(lián)系,否則視為放棄相關權利。

關注伺服與運動控制公眾號獲取更多資訊

關注直驅與傳動公眾號獲取更多資訊

關注中國傳動網公眾號獲取更多資訊
- 運動控制
- 伺服系統(tǒng)
- 機器視覺
- 機械傳動
- 編碼器
- 直驅系統(tǒng)
- 工業(yè)電源
- 電力電子
- 工業(yè)互聯(lián)
- 高壓變頻器
- 中低壓變頻器
- 傳感器
- 人機界面
- PLC
- 電氣聯(lián)接
- 工業(yè)機器人
- 低壓電器
- 機柜