本文提出了基于區(qū)分性稀疏編碼的圖像去雨模型和算法，將圖像去雨問題看成是圖像信號分離問題，在分離過程中利用清晰圖像層和雨層之間的內(nèi)在屬性差異，對兩者進行互斥性的稀疏編碼，以達到清晰圖像與雨層分離的效果。本文在合成數(shù)據(jù)集上驗證了其有效性。

背景介紹

近年來隨著計算機軟硬件技術(shù)的不斷發(fā)展，計算機視覺系統(tǒng)在現(xiàn)實世界中有著越來越廣泛的應(yīng)用。大多數(shù)的戶外計算機視覺系統(tǒng)都需要清晰準(zhǔn)確地提取圖像的特征，從而對圖像進行進一步的分析處理。然而天氣條件的各種各樣的不確定性對圖像的特征有著不可估計的損壞，如大霧天氣下圖像的可見度和對比度都會受到嚴(yán)重影響，而雨雪天氣下可能會引起部分圖像被遮擋。為了能夠讓這些室外視覺系統(tǒng)在惡劣天氣下依舊有好的性能，我們需要對各種各樣的天氣狀況影響下的圖像進行退化過程的建模，并消除相應(yīng)的不良天氣所造成的影響。

由于雨滴在圖像位置和灰度空間上表現(xiàn)出的種種不確定性，其尺度大小的復(fù)雜多變，成像過程的難以刻畫，使得如何有效的從雨圖中得到清晰的非雨圖成為了一個非常有挑戰(zhàn)的課題�，F(xiàn)有的文獻多是對雨天視頻的處理，視頻中相鄰幀的冗余特性有助于雨滴的檢測，也能夠提供豐富的信息對檢測到的有雨區(qū)域進行修補復(fù)原。然而這種相鄰幀的冗余特性可能會因為視頻中高速運動的物體所破壞掉，而且有時候一些智能機器任務(wù)也需要單幅圖像來進行識別任務(wù)，因此考慮如何從單幅雨圖像中消除雨對圖像特征的損壞也是非常有意義的。本文從單幅雨圖出發(fā)，建立了一個簡單有效的優(yōu)化模型，通過約束稀疏編碼的互斥性，在不斷的迭代學(xué)習(xí)中得到一個有區(qū)分性的字典，雨圖中的雨層與圖像層也在迭代中逐漸分離。

相關(guān)工作

Kang等人[1]是最先對單幅圖像進行雨消除的，其主要是利用了字典學(xué)習(xí)來去雨，其主要過程如下：1)預(yù)處理，首先對輸入圖像進行雙邊濾波，濾波后得到的圖像，這部分被稱為低頻圖像，低頻圖像保留了原始圖像的大致信息，這部分中不含雨，因此保留不變；2)字典學(xué)習(xí)，對高頻圖像進行稀疏編碼和字典學(xué)習(xí)，這里的字典包括了雨的字典與圖像邊界的字典，需要進一步區(qū)分；3)字典的劃分，雨所在的塊的梯度方向一般比較一致，圖像邊界所在的塊表現(xiàn)出來的梯度就比較雜亂，對每個字典元素提取其梯度方向直方圖作為特征，使用k-means進行聚類，得到的兩類中，方差比較大的則為圖像邊界的子字典，另外一類則為雨的字字典；4)雨的消除，利用3)中的稀疏編碼，將雨的子字典所對應(yīng)的稀疏系數(shù)設(shè)為0，將塊利用稀疏系數(shù)和字典重構(gòu)回圖像，得到高頻圖像中的圖像細節(jié)，再與低頻圖像相加，即為去雨過后的處理圖像。該方法偏向于對圖像細節(jié)較少，區(qū)域偏光滑的圖像，對于細節(jié)較多的圖像，一則雙邊濾波可能會抹掉很多細節(jié)信息，此細節(jié)信息在接下來的后續(xù)處理中與雨混雜在一起，且是通過一個脆弱的聚類方法去區(qū)分開兩類的字典，因此難以分離。實驗表明，該方法對雨圖的處理后得到的效果圖多數(shù)是偏光滑的，很多細節(jié)都會失去。

Kim等人[2]采用的單幅圖像去雨方法與視頻去雨處理方法相似，都是采取了先檢測后修復(fù)的策略。具體步驟如下：1)雨滴檢測：文中檢測雨滴是使用核回歸的方法去確定像素點所在區(qū)域的主要梯度方向，長短軸之比，隨后再對這些得到的特征進行閾值選擇，其中在使用核回歸方法時根據(jù)雨的一些先驗知識對核回歸中的協(xié)方差矩陣進行修正加權(quán)。對修正之后的協(xié)方差矩陣進行SVD分解，則可以得到該像素點所在區(qū)域雨的主要方向信息，所在區(qū)域的長寬之比，對方向與長寬之比進行閾值篩選，滿足條件的點即標(biāo)識為雨。2)雨點所在區(qū)域修復(fù)：雨點所在區(qū)域的修復(fù)是通過非局部均值濾波來實現(xiàn)的，因為雨的存在，這其中每個塊對所處理塊貢獻的權(quán)重也需要進行相應(yīng)的修正，因為雨所在像素點的灰度信息是不準(zhǔn)確的，因此計算權(quán)值的時候需要去掉不準(zhǔn)確點。Kim等人的方法很大程度上取決于檢測雨滴的準(zhǔn)確度，然而此方法中雨滴的檢測主要只取決于該區(qū)域的梯度方向有關(guān)，雨的一些先驗知識的修正作用其實非常微弱，實驗中常常會出現(xiàn)檢測出來的區(qū)域是與雨的方向一致的一些圖像邊界。此外，圖像修補本身就是一件非常有挑戰(zhàn)的事情，采用的非局部均值濾波可能會因為雨的存在從而采用不相似的塊提供修復(fù)信息，因此這種方法也是非常局限的。

除此之外，還有Pei等人[3]首先將雨圖從其他顏色通道轉(zhuǎn)換到HSV通道，在HSV通道利用飽和度和明度對雨的存在感進行視覺上的增強，之后先后采用高通濾波和方向濾波的方式進一步對雨滴的呈現(xiàn)形態(tài)進行增強，增強之后再選取所處理后的圖像中亮度值最大的一定百分比作為檢測到的雨所在區(qū)域，對檢測到雨滴的所在區(qū)域的修復(fù)是通過領(lǐng)域附近像素點的均值填補所完成。該方法與Kim等人[2]的方法都是先檢測雨滴再修復(fù)雨滴所在位置，兩者成功的關(guān)鍵要取決于雨滴檢測的準(zhǔn)確度與圖像修補的質(zhì)量高低，且此方法采用的圖像修補方式比較適用于修補細長的雨滴，而對區(qū)域較大的檢測塊來說，人為的填補檢測區(qū)域邊界附近的像素均值會使得處理后的圖像極不真實，會有大量的人工修補痕跡。

Fergus等人[4]也嘗試對單幅圖像進行去雨的處理，整個去雨算法采用卷積神經(jīng)網(wǎng)絡(luò)的方式，采用了大量的數(shù)據(jù)集進行訓(xùn)練，訓(xùn)練出的卷積網(wǎng)絡(luò)是從帶雨點或泥點的圖像塊到干凈圖像塊的一個映射，對需要處理的雨圖圖像，只需要將其切成圖像子塊，輸入到這個卷積網(wǎng)絡(luò)映射即可得到對應(yīng)的干凈輸出子塊，之后再對這些輸出子塊進行重新排列得到整張去雨后的圖像。該方法需要大量的訓(xùn)練數(shù)據(jù)，所需要訓(xùn)練的參數(shù)也十分多，時間成本太高。

對比視頻去雨方法而已，單幅圖像的去雨過程中由于缺失了視頻序列中相鄰幀的冗余信息，處理起來難度增大，現(xiàn)有的幾種去雨方法的效果也并不是太好，都有各自的局限所在。

圖像雨化模型及其合成方式

背景圖像與雨之間如何組合在一起，展現(xiàn)出雨圖的效果，這個過程對應(yīng)的模型是非常復(fù)雜的，因此現(xiàn)有的研究去雨的相關(guān)工作中一般對雨圖的生成模型進行相應(yīng)的簡化處理，這種簡化處理大致可以分成兩種，一種處理方式是簡單的加法模型[5]，另一種處理方式是α混合模型[6,7]。本小節(jié)我們提出了新的濾色模型。

濾色模型：該模型為本文算法中所采用的雨圖的生成模型，是經(jīng)典的圖像處理軟件PHOTOSHOP中圖層混合模式的一種。假設(shè)原始圖像為I(x)，雨層圖像為R(x)，兩層圖像混合之后所得到的雨圖圖像為J（x），這里我們假設(shè)灰度值都標(biāo)準(zhǔn)化到[0,1]，X為圖像中像素點所在的位置。其模型如下：

可以看出，濾色模型相比于加法模型，增加了最后一個非線性項，在此模型中，雨對圖像的改變不僅僅取決于R(x)，而是與背景圖像相關(guān)，雨對圖像的影響變成了R(x)(1-I(x))，由此可以看出，當(dāng)背景圖像I(x)比較明亮，接近于1時，雨對圖像的影響接近于0，而當(dāng)背景偏暗時，則雨對圖像的影響接近R(x)，也就是說背景偏暗時，比較明顯的能看到雨的存在，而背景偏亮?xí)r，雨的存在感減弱，這與現(xiàn)實生活中我們所拍攝到的雨的照片也比較相符。

基于區(qū)分性稀疏編碼的圖像去雨方法

1.基于區(qū)分性稀疏編碼的圖像去雨最優(yōu)化模型

給定雨圖，想要得到的是原始的清晰圖像層I與雨層R，由單一圖像分離出兩層圖像，一個方程兩個未知數(shù)，這是一個比較有挑戰(zhàn)的病態(tài)的逆問題求解問題，需要增加額外的假設(shè)約束。在增加先驗假設(shè)之前，首先我們要回答以下兩個問題，第一個是這兩層圖像是如何的融合在一起，正確的模擬兩層圖像的合成模型，是取得良好分離效果的關(guān)鍵，如果一開始的模型假設(shè)就陷入了誤區(qū)，那么就很難正確的分離圖像。第二個問題是清晰的圖像層與雨層圖像之間的區(qū)分性的屬性是什么，如何正確的刻畫這個區(qū)分性屬性。這兩個問題都非常關(guān)鍵，即使找到了正確的合成模型，如果沒有一個好的正則化約束使得兩層圖像相分離，那么所得到的兩層圖像將有無限種可能性，如果有一個好的正則化約束，而圖像層之間的融合方式?jīng)]有良好的定義，那么就有可能走向正則化約束的某種極端情況，而達不到我們想要的分離方式。因此，為了得到好的分離效果，合理的分離出清晰圖像層與雨層，我們要謹(jǐn)慎的處理以上兩個問題。

前面已經(jīng)提到，本文中所采用的雨圖生成模型，是取自圖像編輯軟件PHOTOSHOP中圖像混合模式中的濾色模型，該模型通過將兩層圖像求逆之后做點乘再求逆而得到新的混合圖像，這里假設(shè)理想狀態(tài)下的清晰圖像層為I，雨層為R，那么兩者融合之后得到的雨圖為：

其中*為兩個向量之間的點乘。

在得到雨圖的生成模型之后，接下來要考慮的一個問題就是如何分別對雨層圖像與清晰圖像進行正則化約束。近年來，基于稀疏先驗的算法已廣泛的應(yīng)用在圖像恢復(fù)等任務(wù)上，并且有著優(yōu)異的表現(xiàn)。在本文中，我們也將考慮把稀疏先驗融入到圖像層與雨層的約束中，這里的稀疏先驗指的是將圖像層(或雨層)切成塊狀之后，通過學(xué)習(xí)一個冗余的字典，那么所有圖像層(或雨層)切成的圖像塊將會在一個冗余的字典下稀疏表示，即每一個圖像塊都可以通過字典中的區(qū)區(qū)幾項元素的線性組合來表示。假設(shè)P為操作算子，其將圖像層變成堆疊的圖像塊矩陣，矩陣的每一列分別代表一個圖像塊：

這里Y₁為清晰圖像層I經(jīng)過算子P后堆疊成的矩陣塊，Y_R為清晰圖像層R經(jīng)過算子P后堆疊成的矩陣塊，這些矩陣塊在某個字典D下能夠稀疏表示，即：

其中C₁和C_R分別為圖像塊與雨塊在字典D下的表示系數(shù)，其每一列對應(yīng)著相應(yīng)矩陣塊中的每一塊的表達系數(shù)，如果字典學(xué)習(xí)得足夠好，那么每一列的非零系數(shù)個數(shù)應(yīng)該非常小，也就是說是稀疏的。

想要將兩層圖像準(zhǔn)確的分離開來，簡單的稀疏性是不夠的，還需要額外的具有區(qū)分性的約束來將兩層圖像分離。由于兩層圖像的相應(yīng)字典很難直接學(xué)習(xí)到，在本文中，我們繞開了對雨層和圖像層的兩種字典的學(xué)習(xí)，而是通過一個公共的字典的方式統(tǒng)一對雨層和圖像層編碼，雨層和圖像層的分離不是通過對字典的約束，而是通過對稀疏編碼系數(shù)的約束來完成的。由于雨層和圖像層的差異，在同一個字典上其表示系數(shù)也會有所差異，那么根據(jù)這個差異，我們就可以將雨層和圖像層分離開來。為了對編碼系數(shù)進行描述，我們先定義系數(shù)的權(quán)向量，假設(shè)某矩陣塊在字典下的表示系數(shù)為C，那么該系數(shù)的權(quán)向量定義如下：

權(quán)向量B(C)的第k項代表的是編碼系數(shù)C對字典第k項元素的使用情況，其值越大，代表的是該字典元素對該矩陣塊越重要，當(dāng)其為0的時候，說明這個矩陣塊沒有利用到該字典的第k項元素。定義完系數(shù)的權(quán)向量之后，我們根據(jù)前面的分析可以知道，由于雨層和圖像層的差異，其在某一個字典上的編碼系數(shù)也會有所差異，這個差異就體現(xiàn)在這個權(quán)向量上，在最理想的情況下，雨層的編碼系數(shù)C_R 和圖像層的編碼系數(shù)C₁的權(quán)向量的相關(guān)性應(yīng)該很小，甚至為0。即：

兩者的權(quán)向量的相關(guān)性為0意味著用來產(chǎn)生雨層的字典元素不會用來產(chǎn)生圖像層，反過來，用來產(chǎn)生圖像層的字典元素也不會用來表達雨層，我們把這個性質(zhì)稱之為互斥性。也就是說，在接下來的工作里，我們將通過學(xué)習(xí)一個具有互斥性質(zhì)的字典來實現(xiàn)對雨層和圖像層的分離，基于上述討論，我們可以得到以下最優(yōu)化模型用于雨層和圖像層的分離，我們稱之為區(qū)分性稀疏編碼去雨模型：

其中T₁和T_R分別為圖像塊和雨塊的編碼系數(shù)所對應(yīng)的稀疏度，為一個相關(guān)性閾值，最優(yōu)化模型（4-13）的目標(biāo)函數(shù)是為了讓字典D能夠最優(yōu)的表示雨層和圖像層所對應(yīng)的矩陣塊，模型的約束項中的第一項為雨圖的生成模型，第二項是為了確保雨層和圖像層的亮度都在合理的范圍內(nèi)，第三項為稀疏性約束，第四項為互斥性約束。

2.區(qū)分性稀疏編碼模型求解

上述基于區(qū)分性稀疏編碼的模型是一個非常有挑戰(zhàn)性的非凸優(yōu)化問題，一種常用的解決這類問題的方法是通過逐個變量迭代的方式對變量進行求解，然而本模型中涉及到的基本變量一共有五個，分別為圖像層和雨層圖像所對應(yīng)的亮度I和R，字典D，以及圖像塊和雨塊在此字典下的編碼系數(shù)C₁和C_R，傳統(tǒng)的多變量迭代將收斂得很慢。因此，在本節(jié)中，我們將提出一種貪心迭代算法來替換掉傳統(tǒng)的多變量迭代法，主要的思想如下：在每一次的迭代過程中，首先對圖像塊和雨塊分別進行稀疏逼近，圖像塊采用通常的稀疏逼近方式，而雨塊在稀疏逼近過程中先計算圖像塊中可能殘留的雨成分，之后將這部分累加到先前計算得到的雨塊矩陣上再進行稀疏編碼，得到稀疏編碼系數(shù)后，根據(jù)稀疏編碼系數(shù)和字典對雨塊進行重構(gòu)，再轉(zhuǎn)化到雨層，根據(jù)雨層的亮度和雨圖的生成模型計算出圖像層，之后再將圖像層和雨層轉(zhuǎn)化為塊結(jié)構(gòu)，對字典進行更新，之后再進行下一輪的稀疏編碼。

在上述思想中，可以看到，除去前面提到的五個基本變量外，還提到了圖像中殘留的雨成分，為了刻畫這一成分，在詳細介紹算法前，我們先引入額外的兩個輔助變量ω和r，其中是一個與字典的元素個數(shù)相同維數(shù)的指示向量，其值可取1或0，其取1時表明該字典元素將會參與雨塊的稀疏表示中，如果為0則表示該字典元素是用作圖像塊的稀疏表示。變量是殘余量，代表的是在圖像層中可能留有的雨的分量，在理想情況下，算法在迭代過程中，這個殘余量將會趨近于0，也就是說雨塊與圖像塊的編碼系數(shù)的相關(guān)性趨近于0。

接下來，我們將詳細介紹本文中提出的區(qū)分性稀疏編碼模型的求解算法，按照前面提過的基本思想，我們將算法的每一次迭代分為稀疏逼近，圖像更新，字典更新，指示變量更新這四個步驟，具體的操作如下：

稀疏逼近：在算法的第(l+1）次迭代時，此階段的當(dāng)前輸入為上一步迭代得到的字典D¹，雨塊與圖像塊的堆疊矩陣Y^I_R和Y^I_I，輔助指示變量ω^I，需要得到的是雨塊與圖像塊對應(yīng)的新的編碼系數(shù)C^I+1_R和C^I+1_I，對于圖像塊來說，其編碼系數(shù)C^I+1_I是以下最優(yōu)化模型的最優(yōu)解：

而雨塊的編碼系數(shù)則是通過對上一步的雨塊矩陣與殘余量的累加來進行稀疏逼近，殘余量的計算方式如下：

其中diag是將一個向量拉成一個對角化矩陣的操作，該向量為矩陣的對角元素，其余元素為0，在得到殘余量之后，新的編碼系數(shù)C^I+1_R通過求解以下最優(yōu)化模型得到：

上面兩個稀疏逼近的優(yōu)化模型都可以通過OMP算法進行求解。

圖像更新：這里的圖像更新包括了雨層與清晰圖像層的圖像亮度更新，在上一步稀疏逼近中，我們已經(jīng)得到了雨塊與圖像塊所對應(yīng)的編碼系數(shù)，合理的想法是通過編碼系數(shù)和字典對雨塊和圖像塊進行重構(gòu)，然而為了加快算法的收斂程度，我們對雨層是采取系數(shù)與字典重構(gòu)的方式，而對圖像層，這里采用貪心的算法利用雨圖的生成模型直接獲取圖像層的亮度，具體的做法如下：

首先根據(jù)上一步中計算得到的雨塊的編碼系數(shù)C^I+1_R和上一輪迭代得到的字典D^l得到新的雨塊矩陣Y^l+1_R：

然后根據(jù)新的雨塊矩陣重構(gòu)回雨層R^l+1，這次操作算子為算子P的逆操作，我們記為P^T，注意這里需要對重構(gòu)回的雨層進行一個[0,1]標(biāo)準(zhǔn)化，具體操作如下：

最后再根據(jù)雨層圖像與雨圖的生成模型對圖像層亮度進行更新：

字典更新：在字典更新階段，現(xiàn)有的輸入變量為圖像更新步驟得到的雨層和清晰圖層亮度，以及稀疏逼近步驟中得到的相應(yīng)的稀疏編碼系數(shù)，這里想要得到的是更新后的字典，首先，我們需要將雨層和圖像層通過操作算子P轉(zhuǎn)換為堆疊的矩陣塊：

之后的字典更新則是通過求解以下最優(yōu)化模型得到：

上述字典的更新可以通過K-SVD算法進行求解。

指示變量更新：這一步驟主要是為了下一迭代中殘余量的生成服務(wù)的，輸入的變量有上一輪的指示變量ω^l以及這一輪所得到的雨塊的編碼系數(shù)C^l+1_R，首先根據(jù)雨塊的編碼系數(shù)生成新的指示變量：

此外，我們認(rèn)為該指示變量應(yīng)該是上一輪指示變量的一個子集，這樣可以有效的避免算法的發(fā)散。

3.實驗對比與分析

對比方法選擇：為了驗證上述區(qū)分性稀疏編碼模型及算法的有效性，我們在合成的雨圖上進行了驗證，且選取了如下兩種方法進行對比實驗，第一種是Kang等人[1]在2012年提出的，其采用雙邊濾波的方式首先抽取出圖像的低頻部分，再從高頻部分通過字典學(xué)習(xí)和聚類的方式抽取出雨層，另外一種則是Kim等人[2]在2013年提出的對雨圖首先進行雨點檢測，再對檢測到的區(qū)域進行圖像修補。

實驗配置與初始化：在整個實驗中，算法的參數(shù)都是固定的，圖像層切成的局部圖像塊的尺寸大小為16X16，字典D的元素個數(shù)為640，也就是說字典D的大小為256X640，算法中雨塊和圖像塊的稀疏度T_R和T_Z分別為5和8，也就是說每一個雨塊(圖像塊)最多能用5個(8個)字典元素。在整個實驗中，需要進行初始化的變量主要包括字典D與指示向量W，字典D的的初始化分為兩個成分，第一部分為雨成分的子字典，第二部分為清晰的圖成分子字典，第二部分處理起來可以相對比較隨意，這里我們直接對原始的輸入雨圖進行字典學(xué)習(xí)得到的字典作為清晰圖像的子字典，字典學(xué)習(xí)方式采用的是經(jīng)典的KSVD。第一部分雨字典的初始化我們根據(jù)前文中的雨的形態(tài)學(xué)分析對雨字典進行一個比較好的初始化，首先根據(jù)輸入的雨圖的梯度方向統(tǒng)計出雨的大致方向，生成沿該方向的運動模糊核，再對該模糊核疊加一個高斯濾波，這樣我們就得到了初始的雨字典，雨字典與圖像字典元素個數(shù)的比例我們設(shè)為1:4。指示向量W的初始化也根據(jù)初始化的字典成分來決定，初始為雨字典的我們將W對應(yīng)位置上的值設(shè)為1，其余設(shè)為0。此外，算法輸入中還有初始的雨塊與圖像塊矩陣及對應(yīng)的編碼系數(shù)，這些我們都采用經(jīng)典的OMP算法進行初始化。

算法時間評估：為了在公平的環(huán)境下進行效率比較，所有比較方法的運行環(huán)境都是統(tǒng)一的，都是在Windows10操作系統(tǒng)中的Matlab2015a運算平臺，并且硬件環(huán)境都是有著因特爾酷睿雙核i7-37703.4GHz型號的CPU以及32GB內(nèi)存的個人臺式電腦。經(jīng)過多次測試求取的平均運行時間，對于一個尺寸大小為256X256的彩色圖像，本節(jié)所提出的算法所用時間為140秒，而Kang等人的方法與Kim等人的方法所用的時間分別為358秒與252秒，可見我們的算法所用的時間是最少的。

為了對現(xiàn)有的各種去雨方法的效果有一個客觀的評價，需要建立一個基準(zhǔn)數(shù)據(jù)庫，包含原始的帶雨圖像用作算法的輸入，以及原始的不含雨的圖像用作對算法輸出的評價。由于現(xiàn)實生活中人們很難得到同一環(huán)境下的雨圖和非雨圖，因為拍攝過程中外在的光線明暗變化，可見度高低，空氣質(zhì)量等因素都會使得兩者的差別不僅僅只是雨的差別。因此，我們暫且對基準(zhǔn)數(shù)據(jù)庫的建立采用人工合成的方式，清晰的圖像我們從一些標(biāo)準(zhǔn)圖像庫里面選取其中室外場景部分，再人工合成雨圖。

清晰圖像的選�。罕疚乃x取的圖像數(shù)據(jù)庫為UCID[8]無壓縮彩色圖像數(shù)據(jù)庫，該數(shù)據(jù)庫的設(shè)計初衷是用來評估基于內(nèi)容的圖像檢索算法，其包含了1338張無壓縮的彩色圖像，在實驗過程中我們?nèi)藶榈貙D像中的室內(nèi)場景和物體的相關(guān)圖片去除，剩下一些戶外場景照片，再隨機的選取其中200張作為清晰的圖像源數(shù)據(jù)，包括建筑物，山水場景，雕像，草地等。

人工雨圖的合成：現(xiàn)有的雨圖合成方式都是通過圖像編輯軟件PHOTOSHOP來完成的，而想要批量生成雨圖來用作客觀評價，繼續(xù)人工的使用該軟件需要耗費大量的時間成本，因此，我們采用MATLAB來近似模擬PHOTOSHOP中的每一步，以此來批量的生成雨圖。為了確保雨圖的多樣性，避免算法的偏向性帶來的不公平，在雨圖的生成過程中將雨的方向在和之間進行隨機選擇。圖1顯示了人工合成后的部分雨圖圖像。

圖1部分圖像對應(yīng)的雨圖

客觀評價標(biāo)準(zhǔn)：這里我們采用兩種經(jīng)典的圖像質(zhì)量評價標(biāo)準(zhǔn)對算法恢復(fù)的圖像進行客觀的評估，分別為峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)。

為了驗證本文所提出的算法的有效性，我們對200張合成雨圖進行了去雨測試，相關(guān)結(jié)果如表格1所示，表格中的數(shù)據(jù)為多幅圖像求得的平均值�？梢钥闯觯疚乃岢龅乃惴軌蚝艽蟪潭鹊奶岣哂陥D的圖像質(zhì)量。

表1區(qū)分式稀疏編碼模型去雨結(jié)果

表格2列出了本文所提出的去雨算法與另外兩種算法(Kim和Kang)在200幅雨圖上的去雨結(jié)果對比，表格里的數(shù)據(jù)為所有圖像得出的平均數(shù)據(jù)，可以看出，不管是用PSNR還是SSIM作為客觀評價度量，本文所提出的算法在合成數(shù)據(jù)上都比另外兩種算法要好。

表2三種去雨算法在合成數(shù)據(jù)上的對比

小結(jié)

本文針對雨這種現(xiàn)實世界中很常見的一種惡劣天氣下圖像的質(zhì)量的損壞現(xiàn)象，提出了一種有效的去除雨的方法。本文通過字典學(xué)習(xí)的方式，研究分析雨圖和清晰圖像之間的屬性差異，通過這種屬性差異在稀疏編碼系數(shù)上體現(xiàn)的差異性，直接以圖像信號分離的方式來將雨圖中的雨圖和清晰圖像進行分離。實驗結(jié)果表明了在合成數(shù)據(jù)上本文所提出的算法模型的有效性。

此外本文所提出的去雨方法也有一定的局限性，首先，該方法不適合于當(dāng)圖像中的雨不是線性規(guī)則狀時，當(dāng)圖像中出現(xiàn)的雨的形狀是較大塊的雨滴時，所提出的方法并不能有效地處理消除這種情況下的雨滴，其次，當(dāng)圖像中有很多與雨的形狀類似的結(jié)構(gòu)存在時，所提出的方法可能會將其錯分至雨層。在將來的研究工作中，需要更進一步將該算法完善，將該區(qū)分式稀疏編碼模型用到其他視覺信號分離問題上。

參考文獻

L.W.Kang,C.W.Lin,andY.H.Fu.Automaticsingle-image-basedrainstreaksremovalviaimagedecomposition.IEEETransactionsonImageProcessing,

2012.21(4):p.1742-1755.

J.H.Kim,C.Lee,J.Y.Sim,etal.Single-imagederainingusinganadaptivenonlocalmeansfilter.ICIP.2013.p.914-917.

S.C.Pei,Y.T.Tsai,andC.Y.Lee.Removingrainandsnowinasingleimageusingsaturationandvisibilityfeatures.

IEEEInternationalConferenceonMultimediaandExpoWorkshops.2014.p.1-6.

D.Eigen,D.Krishnan,andR.Fergus.Restoringanimagetakenthroughawindowcoveredwithdirtorrain

.ICCV.2013.p.633-640.

P.C.Barnum,S.Narasimhan,andT.Kanade.Analysisofrainandsnowinfrequencyspace.Internationa

lJournalofComputerVision,2010.86(2-3):p.256-274.

V.SanthaseelanandV.K.Asari.Utilizinglocalphaseinformationtoremoverainfromvideo.

InternationalJournalofComputerVision,2014.112(1):p.71-89.

S.You,R.T.Tan,R.Kawakami,etal.Raindropdetectionandremovalfromlongrangetrajectories.2014:

SpringerInternationalPublishing.569-585.

G.SchaeferandM.Stich.UCID:anuncompressedcolorimagedatabase.ElectronicImaging.2003.

InternationalSocietyforOpticsandPhotonics.p.472-480.