畢業(yè)論文：圖像重建數(shù)學(xué)模型和超分辨率空域重建算法研究

目錄/提綱：……
一、緒論…………………………………………………………5
二、圖像超分辨率重建算法基礎(chǔ)…………………………………11
三、基于MAP的正則化超分辨率圖像重建算法…………24
實(shí)驗(yàn)四、PSNR（峰值信噪比）比較
……

畢業(yè)論文：圖像重建數(shù)學(xué)模型和超分辨率空域重建算法研究

摘 要

簡(jiǎn)介：圖像超分辨率重建是一種病態(tài)反問(wèn)題。在過(guò)去的二十年間,一系列的超分辨率方法被提出。數(shù)據(jù)和噪音的假定模型容易受這些方法影響，從而限制了他們的實(shí)用性。這篇論文以圖像重建數(shù)學(xué)模型和超分辨率空域重建算法為研究主線，綜述了這些方法中的一部分，并指出了他們的不足。在處理不同的數(shù)據(jù)和噪聲模型之前我們提出了基于L1范數(shù)極小化和雙邊全變差的穩(wěn)健性正則化的交替性方法。這種比較簡(jiǎn)單的運(yùn)算方法有效的抑制了運(yùn)動(dòng)和模糊估計(jì)產(chǎn)生的誤差和導(dǎo)致有鋒利邊緣的圖像。仿真結(jié)果說(shuō)明了我們方法的有效性和證明一些超分辨率方法的優(yōu)勢(shì)，而且重建圖像的視覺效果和峰值信噪比(PSNR)均有一定的提高。


關(guān)鍵詞：雙邊濾波器、去模糊、增強(qiáng)、圖像的重建、多幀、正則化、抗差估計(jì)、超分辨率，全變差（TV）。


ABSTRACT

Image super-resolution reconstruction is an ill-posed inverse problem.In the last two decades, a variety of super-resolution methods have been proposed. These methods are usually very sensitive to their assumed model of data and noise, which limits their utility. In this paper,detailed analysis and discussion of the selection of the regularization parameter has been given. reviews some of these methods and addresses their shortcomings.We propose an alternate approach using 1 norm minimizationand robust regularization based on a bilateral prior to deal with different data and noise models. This computationally ine*pensive method is robust to errors in motion and blur estimation and results in images with sharp edges. Simulation results confirm the effectiveness of our method and demonstrate its superiority to other super-resolution methods,and has considerable effectiveness in terms of both visual evaluation and PSNR.



Key words：Bilateral filter, deblurring, enhancement, image restoration, multiframe, regularization, robust estimation, super resolution, total variation (TV).


目 錄

摘 要 ……………………………………………………………… 1
ABSTRACT ………………………………………………………… 2
一、緒論 ………………………………………………………… 5
1.1課題的背景與意義 ………………………………………… 5
1.2 SR的研究現(xiàn)狀及其應(yīng)用 …………………………………… 7
1.3 研究目標(biāo) …………………………………………………… 9
1.4本文的主要工作及內(nèi)容安排 ………………………………… 9
二、圖像超分辨率重建算法基礎(chǔ) ………………………………… 11
2.1 觀測(cè)模型的建立 ……………………………………………… 11
2.2 超分辨率重建問(wèn)題的病態(tài)性 ………………………………… 12
2.3 超分辨率重建算法的典型步驟 ……………………………… 13
2.3.1 圖像配準(zhǔn) ………………………………………………… 13
2.3.2 圖像插值和重建 ………………………………………… 14
2.4 超分辨率重建技術(shù)的典型算法 ……………………………… 15
2.4.1 頻域算法 ………………………………………………… 15
2.4.2 空域算法 ………………………………………………… 17
1） 非均勻插值算法 ……………………………………… 18
2） 迭代反投影算法 ……………………………………… 18
3） 隨機(jī)算法 ……………………………………………… 19
4） 正則化算法 …………………………………………… 19
5） 集合論算法 …………………………………………… 20
6） MAP/ML/POCS混合算法………………………………… 21
7） Delaunary三角剖分法 ……………………………… 21
8） 基于學(xué)習(xí)的算法 ……………………………………… 22
2.5.1 算法比較與總結(jié)…………………………………………… 22
2.6 本章小結(jié) ………………………………………………… 23
三、基于MAP的正則化超分辨率圖像重建算法 ………… 24
3.1 簡(jiǎn)要的提出MAP正則化目標(biāo)方程 …………………………… 25
3.2 代價(jià)方程保真度項(xiàng)分析 ……………………………………… 25
3.2.1 二階范數(shù)算法分析 ………………………………………… 25
3.2.2一階范數(shù)算法分析 ………………………………………26
3.2.3 實(shí)驗(yàn)仿真與分析 …………………………………………28
3.3 雙邊濾波正則化算子 ……………………………………… 29
3.4 實(shí)驗(yàn)仿真與分析 …………………………………………… 31
結(jié) 語(yǔ) ………………………………………………………………35
參考文獻(xiàn) ……………………………………………………………I
致 謝 ……………………………………………………………III
英文翻譯 ……………………………………………………………IV






第一章 緒論

1．1課題的背景與意義
隨著圖像傳輸和處理技術(shù)的飛速發(fā)展，人們對(duì)高分辨率的圖像和視頻信息的要求日趨提高。分辨率往往是表征圖像觀測(cè)水平的重要技術(shù)指標(biāo)，它取決于儀器固有的分辨率和其他因素對(duì)成像的影響。從應(yīng)用的角度講，人們總是希望得到高分辨率的圖像，因?yàn)楦叻直媛室馕吨鴪D像的像素密度高，能夠提供更多的細(xì)節(jié)信息。自從1970年以來(lái)，CCD(Charge Coupled Device)和CMOS傳感器件被大量用于數(shù)字圖像獲取，使成像分辨率得到了很大的提高，雖然能夠滿足大多數(shù)需求，但是從發(fā)展的觀點(diǎn)來(lái)看，目前的分辨率水平還遠(yuǎn)遠(yuǎn)不夠。而且在許多重要的成像領(lǐng)域，還存在很多導(dǎo)致圖像退化的因素，如光學(xué)系統(tǒng)的像差、大氣擾動(dòng)、運(yùn)動(dòng)、散焦，欠采樣和系統(tǒng)噪聲等。
然而，高分辨率的圖像和視頻數(shù)據(jù)在獲取和處理過(guò)程中受到多方面制約。提高圖像空間分辨率的途徑通常有兩種。一種最直接的方法是提高工藝水平，通過(guò)改進(jìn)成像器件的物理特性，如降低像元尺寸、增大芯片面積等。但這一方法有內(nèi)在缺陷，芯片面積增大會(huì)引起電荷轉(zhuǎn)移速率下降，降低像元尺寸會(huì)使單位像元受光量減少、成像單元受散粒噪聲的影響加大，進(jìn)而導(dǎo)致成像圖像的質(zhì)量急劇下降。另一種是改進(jìn)光學(xué)鏡頭的焦距和孔徑。在航拍圖像的超分辨率重建中，為了提高圖像的空間分辨率并保持足夠地面覆蓋范圍，通常采用增大相機(jī)光學(xué)系統(tǒng)的焦距和孔徑的方法。但這種大型光學(xué)系統(tǒng)受光學(xué)材料、加工、制造成本等的制約，現(xiàn)有的光學(xué)成像系統(tǒng)已接近光學(xué)器件制造工藝和系統(tǒng)空間運(yùn)載能力的極限。而在民事應(yīng)用中，為了降低成本，考慮易用性，也很少會(huì)采用加大焦距和孔徑的方式。且為了能在高分辨率(或高清晰度)的顯示器上表現(xiàn)足夠幅面(最好是滿屏)的原始成像，人們嘗試了各種圖像“放大”的方法，可其做法仍然是對(duì)有限分辨率的原始成像進(jìn)行像素內(nèi)插，本質(zhì)上并不能提高圖像的空間分辨率。
因此如何在現(xiàn)有的硬件水平下提高圖像的空間分辨率成為迫切需要解決的問(wèn)題，超分辨率圖像重建技術(shù)正是在這一需求下提出的新方法。超分辨率圖像重建技術(shù)是采用信號(hào)處理技術(shù)從單幀或者多幀低分辨率圖像中重建出高分辨率圖像，這就是目前圖像處理領(lǐng)域特別活躍的超分辨率重建技術(shù)，其主要優(yōu)點(diǎn)是成本低廉且現(xiàn)有成像系統(tǒng)仍可利用。眾所周知，成像系統(tǒng)相當(dāng)
……（新文秘網(wǎng)http://www.120pk.cn省略5989字，正式會(huì)員可完整閱讀）……　
用的算法不同，以上各個(gè)步驟可單獨(dú)進(jìn)行也可同時(shí)進(jìn)行，如圖2．2所示。

圖2-2 圖像超分辨率重建過(guò)程
2．3．1 圖像配準(zhǔn)
圖像配準(zhǔn)是序列超分辨率重建的基礎(chǔ)。待融合的LR圖像之間往往存在偏移、旋轉(zhuǎn)、比例等空間變換關(guān)系，圖像配準(zhǔn)就是將不同傳感器所采集得到的同一場(chǎng)景的多光譜、多波段圖像或同一傳感器在不同時(shí)間、不同方位得到的同一場(chǎng)景的圖像變換到同一坐標(biāo)系下，以供重建使用。
目前圖像配準(zhǔn)的研究比較廣泛，提出了很多有效的配準(zhǔn)方法。例如，基于灰度統(tǒng)計(jì)信息的配準(zhǔn)方法、頻域配準(zhǔn)方法、基于特征的配準(zhǔn)方法等。
圖像配準(zhǔn)可以定義為兩幀圖像在空間和灰度上的映射。如果用給定尺寸的二維矩陣 和 代表兩幀圖像， 和 分別表示相應(yīng)位置(*，y)上的灰度值，則圖像間的映射可表示為

式中，g是一維灰度或輻射變換，f表示一個(gè)二維空間坐標(biāo)變換，即

配準(zhǔn)問(wèn)題的任務(wù)包括找到最優(yōu)的空間和灰度變換，使圖像相對(duì)于基準(zhǔn)圖像得到匹配。通�；叶茸儞Q譬是不需要的，但在不同傳感器之間的圖像配準(zhǔn)(如光學(xué)到雷達(dá)圖像)等應(yīng)用中可能要用到。
一般情況下，尋找空間或幾何變換是解決配準(zhǔn)問(wèn)題的關(guān)鍵，這一交換可參數(shù)化為兩個(gè)單值函數(shù) 和 ，則

圖像配準(zhǔn)可分為頻域法和空域法。由于Fourier變換的特點(diǎn)，頻域法只局限于求解全局運(yùn)動(dòng)模型，并且更多的是考慮平面移動(dòng)或可能的旋轉(zhuǎn)和伸縮。但相對(duì)空域而言，頻域中更容易描述和解決混疊問(wèn)題。
圖像配準(zhǔn)一般可分為以下幾個(gè)步驟。
第一步，特征檢測(cè)，即根據(jù)圖像性質(zhì)，人工或自動(dòng)從基準(zhǔn)圖像和待配準(zhǔn)圖像中提取適于配準(zhǔn)的圖像特征(如閉合邊界區(qū)域、邊緣、線交點(diǎn)等)，并用控制點(diǎn)(如區(qū)域中心、角點(diǎn)、端點(diǎn)等)表示；
第二步，特征匹配，即對(duì)每幀圖像中的控制點(diǎn)進(jìn)行匹配；
第三步，變換模型估計(jì)，即選擇幾何變換模型，并利用匹配控制點(diǎn)對(duì)來(lái)估計(jì)映射函數(shù)的類型和參數(shù)；
第四步，圖像插值和變換，即以基準(zhǔn)圖像為基礎(chǔ)進(jìn)行灰度插值和坐標(biāo)變換，獲得配準(zhǔn)圖像，增加圖像信息。
2．3．2圖像插值和重建
序列圖像進(jìn)行配準(zhǔn)以后，就要進(jìn)行圖像插值和重建；單幀圖像則直接進(jìn)行插值和重建。
圖像插值是一個(gè)圖像數(shù)據(jù)的再生過(guò)程，利用己知采樣點(diǎn)的灰度值估計(jì)未知采樣點(diǎn)的灰度值，在給定的空間范圍內(nèi)，從有限的離散采樣數(shù)據(jù)重建出原來(lái)連續(xù)的圖像信號(hào)。通過(guò)插值可以實(shí)現(xiàn)圖像的放大顯示，提高圖像分辨率。一般來(lái)說(shuō)，圖像插值須滿足以下假設(shè)。
第一，插值的像素灰度值在二維歐氏空間中是連續(xù)曲面；
第二，所采用的圖像插值模型應(yīng)滿足插值條件，也即在原圖的采樣點(diǎn)上，插值結(jié)果應(yīng)與原圖中的像素值保持一致。
目前，在圖像插值領(lǐng)域里，對(duì)于單通道的靜止圖像信號(hào)，主要有基于隨機(jī)場(chǎng)、時(shí)域、頻域、時(shí)頻域和時(shí)頻空域等幾類較為成熟的基于模型的插值算法；而對(duì)于多通道的圖像信號(hào)，己有文獻(xiàn) 提出了通過(guò)信息融合算法，增強(qiáng)高頻信息，銳化邊緣特征來(lái)提高插值圖像的視覺效果和質(zhì)量。
插值通常是利用曲線擬合的方法，通過(guò)離散的輸入采樣點(diǎn)建立一個(gè)連續(xù)函數(shù)，用這個(gè)重建的函數(shù)便可以求出任意位置處的函數(shù)值。這樣便可以不受僅在采樣點(diǎn)處抽取輸入信號(hào)值的限制。對(duì)有限帶寬的信號(hào)采樣會(huì)產(chǎn)生無(wú)限帶寬信號(hào)，插值過(guò)程正好相反，它通過(guò)對(duì)離散信號(hào)作低通濾波處理，減少了信號(hào)的帶寬。插值函數(shù)對(duì)采樣數(shù)值的平滑作用，恢復(fù)了在采樣過(guò)程中丟失的信息。因而插值可以看作是采樣的逆過(guò)程。
對(duì)于等間隔采樣數(shù)據(jù)，插值可以表示為
（2-7)
式中，h為插值核， 為權(quán)系數(shù)，卷積對(duì)K個(gè)數(shù)據(jù)作處理。式(2.7)將插值用卷積操作來(lái)表示，在實(shí)際應(yīng)用中，h總是對(duì)稱的，即有 ， 即為采樣值。
插值核的性質(zhì)可以通過(guò)其在頻率域的特性來(lái)評(píng)估。理想的插值核在帶通區(qū)具有單位增益，在帶阻區(qū)具有零增益。因而可以有效地通過(guò)和抑制不同頻率的信號(hào)成分。
圖像重建，這里主要是指對(duì)前面步驟獲得的HR圖像進(jìn)行去噪、去模糊操作，進(jìn)一步合理優(yōu)化重建的HR圖像。很多情況下，重建步驟可以和前面的步驟一同進(jìn)行。
2．4超分辨率重建技術(shù)的典型算法
超分辨率重建算法主要分為頻域算法和空域算法。早期的研究工作主要集中在頻域進(jìn)行，但隨著考慮更廣義的退化模型，后期的研究工作主要集中在空域進(jìn)行。
2．4．1頻域算法
1984年，Huang和Tsai最早提出多幀超分辨率問(wèn)題并在頻域中進(jìn)行求解。他們?cè)谖墨I(xiàn) 中證明了在不存在噪聲和模糊的情況下，基于LR圖像中的混疊，可以由多幀LR圖像重構(gòu)出一幀HR圖像。在原始場(chǎng)景信號(hào)帶寬有限的假設(shè)條件下，利用離散Fourier變換與連續(xù)Fourier之間的平移和混疊性質(zhì)，給出一個(gè)由一系列降采樣觀測(cè)圖像數(shù)據(jù)重建高分辨率圖像的公式，使得多幀觀測(cè)圖像經(jīng)混疊的離散Fourier變換變換系數(shù)與未知場(chǎng)景的連續(xù)Fourier變換系數(shù)以方程組的形式聯(lián)系起來(lái)，方程組的解就是原始場(chǎng)景的頻率域系數(shù)，再利用求解的頻率域系數(shù)進(jìn)行Fourier逆變換就可實(shí)現(xiàn)原始場(chǎng)景的精確重建。這種算法要求圖像問(wèn)位移參數(shù)的估計(jì)精度達(dá)到亞像素(subpi*d)級(jí)，而且每一幀觀察圖像都必須只對(duì)方程組中的一個(gè)不相關(guān)的方程做出貢獻(xiàn)。
設(shè)f(*，y)為一幀連續(xù)HR圖像，其連續(xù)Fourier變換(CFT,continuous Fourier transform)為F(u，v)。由全局位移產(chǎn)生R幀位移圖像
, (2-8)
式中，r=1,2，．．．，R，其CFT為 .
根據(jù)CFT的位移性質(zhì)，
(2-9)
通過(guò)對(duì)位移圖像進(jìn)行脈沖采樣，獲得觀測(cè)圖像
(2-10)
式中m=O，1，．．．，M一1，n=0，l，．．．，N一l，其二維離散Fourier變換(DFT,discrete Fourier transform)為 。
根據(jù)頻譜混疊性質(zhì)，HR圖像的CFT和LR圖像的DFT之間存在以下關(guān)系式
(2-11)
設(shè)f(*，Y)為帶限函數(shù)，即存在U和V，使得當(dāng) ， 時(shí)，有F(u，v) 0，將上式用矩陣表示為G=咖，，其中G為R*1的列向量，第r個(gè)元素為觀測(cè)圖像 的DFT系數(shù)， 為觀測(cè)LR圖像的DFT和連續(xù)HR圖像的CFT的關(guān)系矩陣，F(xiàn)為4UV*l的列向量。
由此可見，頻域超分辨率重建主要完成以下幾個(gè)步驟。
第一步，獲取 幀觀測(cè)圖像的DFT：
第二步，確定 ，即進(jìn)行運(yùn)動(dòng)估計(jì)；
第三步，由方程系統(tǒng) 解出F；
第四步，應(yīng)用IDFT獲得重建的HR圖像。
Bose、Kim在噪聲均值為零并且所有LR圖像的模糊和噪聲都相同的假設(shè)條件下，基于加權(quán)最小二乘理論的回歸方法，將頻域法應(yīng)用在噪聲模糊低分辨率圖像上。
Vandewalle、Susstrunk和Vetterli等提出一種新的頻域算法，在運(yùn)動(dòng)估計(jì)算法中只使用圖像的低頻信息。與通常的頻域算法不同的是，這種運(yùn)動(dòng)估計(jì)算法的性能不會(huì)因噪聲和很強(qiáng)的混疊而下降。算法中提出一種新算法來(lái)估計(jì)平面旋轉(zhuǎn)，計(jì)算效率高：重建中，應(yīng)用三次樣條插值方法。仿真實(shí)驗(yàn)中，這種頻域超分辨率算法可以用四幀LR圖像重建一幀HR圖像，分辨率是原來(lái)的兩倍。通過(guò)與其他的頻域算法和部分空域算法相比較，這種算法對(duì)旋轉(zhuǎn)和移位參數(shù)的估計(jì)性能更好，尤其是在LR圖像中存在某種強(qiáng)方向性時(shí)。
頻域超分辨率重建算法具有理論上簡(jiǎn)單，較低的計(jì)算復(fù)雜度等優(yōu)點(diǎn)；缺點(diǎn)主要包括整體平移運(yùn)動(dòng)和空間平移不變退化模型的局限性以及包含空域中先驗(yàn)知識(shí)的能力有限，具體表現(xiàn)為以下幾個(gè)方面。
第一，只限于整體平移運(yùn)動(dòng)模型。應(yīng)該注意到頻域中的算法都是利用一個(gè)整體平移運(yùn)動(dòng)模型，這是頻域算法基本的局限性。
第二，退化模型的不靈活性。頻域算法需要存在一個(gè)變換，這個(gè)變換就是頻域等價(jià)于空域的運(yùn)動(dòng)模型。由于在典型的復(fù)雜的超分辨率應(yīng)用中不能用公式表示頻域等價(jià)于空間變化運(yùn)動(dòng)模型的變換，因此對(duì)可行的運(yùn)動(dòng)模型的范圍強(qiáng)加了非常嚴(yán)格的限制。
第三，包含空域先驗(yàn)知識(shí)困難。因?yàn)槌直媛手亟ㄊ且粋�(gè)病態(tài)反問(wèn)題，作為頻域公式化的結(jié)果，空間平移不變是非常必要的。通常，被用來(lái)約束解空間的最有用的先驗(yàn)信息是通過(guò)空域約束，并且空域約束是非常方便和直觀的，但頻域算法不能很好地包含這些信息。
2．4．2空域算法
超分辨率重建的另一類算法是空域算法�？沼蛩惴▽�(fù)雜的運(yùn)動(dòng)模型與相應(yīng)的插值、迭代及濾波重采樣放在一起進(jìn)行處理，其線性空域觀測(cè)模型涉及到全局和局部運(yùn)動(dòng)、光學(xué)模糊、運(yùn)動(dòng)模糊、非理想采樣、空間可變點(diǎn)擴(kuò)散函數(shù)及其他一些內(nèi)容。
1) 非均勻插值算法:
非均勻插值超分辨率技術(shù)的基礎(chǔ)是非均勻空間采樣插值原理，LR觀測(cè)圖像序列經(jīng)過(guò)配準(zhǔn)后，形成一幀由非均勻間隔采樣格網(wǎng)點(diǎn)上的樣本值形成的復(fù)合圖像，這些非均勻間隔樣本點(diǎn)經(jīng)過(guò)內(nèi)插和重采樣可形成超分辨率的采樣格網(wǎng)。該技術(shù)依次執(zhí)行運(yùn)動(dòng)估計(jì)、非均勻插值和去模糊過(guò)程，先估計(jì)相對(duì)運(yùn)動(dòng)信息，再插值獲得HR圖像，最后應(yīng)用傳統(tǒng)的圖像重建方法去除模糊和噪聲。
非均勻插值是超分辨率技術(shù)中最基礎(chǔ)最直觀的算法，具有相對(duì)較低的計(jì)算復(fù)雜度，但是這種算法需要假設(shè)所有低分辨率圖像中的模糊和噪聲特征都相同。
2) 迭代反投影算法
Irani和Releg在文獻(xiàn) 中提出一種迭代反投影算法，HR圖像由模擬LR圖像和觀測(cè)LR圖像的誤差進(jìn)行反投影得到，這個(gè)過(guò)程不斷迭代，直到誤差的能量達(dá)到最小。
考慮線性觀測(cè)模型Y=H*，設(shè)超分辨率圖像*的第n次迭代估計(jì)值為 ，則由此估計(jì)值模擬出的LR觀測(cè)圖像為 。IBP過(guò)程就是通過(guò)反投影矩陣 ，將模擬LR圖像 和觀測(cè)LR圖像Y的誤差進(jìn)行反投影，從而對(duì)超分辨率圖像估計(jì)進(jìn)行更新。通常設(shè)置 為H逆矩陣的逼近矩陣。這個(gè)迭代過(guò)程可以表示為

Keren，Peleg和Brada在文獻(xiàn) 中考慮了空間不變PSF。并且，在對(duì)模擬圖像和觀測(cè)圖像的誤差的最優(yōu)化準(zhǔn)則中，應(yīng)用反投影核來(lái)對(duì)估計(jì)值 進(jìn)行更新。整個(gè)過(guò)程可以表示為

式中， 是*經(jīng)過(guò)n次迭代估計(jì)得到的模擬LR圖像， 表示集合 IBP的選擇將影響問(wèn)題的解，因此 可以看作是一種額外的約束條件，表示解的性質(zhì)。這一命題已經(jīng)在文獻(xiàn) 中給出證明。
IBP算法的優(yōu)點(diǎn)是算法直觀，計(jì)算簡(jiǎn)單。但是由于超分辨率重建問(wèn)題具有病態(tài)性，沒(méi)有唯一的解，選擇 較難。與POCS和正則化算法相比，IBP算法難以利用先驗(yàn)知識(shí)。
3) 隨機(jī)算法：
隨機(jī)理論(尤其是Bayes算法)將超分辨率重建作為一個(gè)隨機(jī)估計(jì)問(wèn)題來(lái)解決。隨機(jī)理論可以利用求解病態(tài)超分辨率反問(wèn)題所必須的先驗(yàn)約束知識(shí)。
假設(shè)觀測(cè)數(shù)據(jù)為Y，噪聲N超分辨率圖像*均為隨機(jī)量，則可建立隨機(jī)觀測(cè)方程， Y=H*+N (2-14)
最大后驗(yàn)概率算法(MAP,ma*imum a-posteriori)是通過(guò)計(jì)算后驗(yàn)概率P{*/Y}的最大值來(lái)尋找*的估計(jì)值 。
(2-15)
根據(jù)Bayes條件概率理論，認(rèn)為氟I^P與P{r)不相關(guān)，對(duì)式(2—15)取對(duì)數(shù)得，
(2-16)
式中，logP{Y/*}為對(duì)數(shù)似然函數(shù)(log-likelihood function)，P{*}為*的先驗(yàn)概率密度。由于Y=H*+N，似然函數(shù)由噪聲的概率密度函數(shù)(PDF)確定，即P{Y / *)=fn(Y一H*)。P{*}通常是利用MRF(Markov random field)圖像模型。
也可以應(yīng)用最大似然估計(jì)(ML，ma*imum likelihood)算法來(lái)解決超分辨率問(wèn)題。ML估計(jì)可以看成是MAP的一個(gè)特例，沒(méi)有先驗(yàn)項(xiàng)。由于超分辨率重建問(wèn)題的病態(tài)性，需要包含先驗(yàn)信息，所以MAP優(yōu)于ML。
隨機(jī)超分辨率重建算法，尤其是應(yīng)用MRF先驗(yàn)?zāi)Ｐ偷腗AP算法，優(yōu)點(diǎn)主要體現(xiàn)在可以直接包括解的先驗(yàn)約束，這是獲得病態(tài)反問(wèn)題的最優(yōu)解所必須的條件【2】。
4)、正則化算法：
正常情況下，超分辨率圖像重建是病態(tài)問(wèn)題。應(yīng)用正則化過(guò)程可以使該問(wèn)題良性化。對(duì)于式(2．2)中，可以有，
(2-17)
假設(shè)估計(jì)正則化參數(shù)，利用合適的先驗(yàn)知識(shí)，用確定性正則化解決這一病態(tài)問(wèn)題。例如采用常用的有約束的最小二乘(CLS，constrained least squares)法來(lái)求解*使代價(jià)函數(shù) 達(dá)到最小，其中，
C為高通濾波器系數(shù)， 表示 范數(shù)。
在這一算法中，使用平滑約束作為重建的先驗(yàn)知識(shí)。因?yàn)榇蠖鄶?shù)圖像都是自然平滑，高頻能量有限，解的先驗(yàn)知識(shí)就可以用平滑約束表示，相當(dāng)于最小化重建圖像中的高通能量。a稱作正則化參數(shù)，用來(lái)權(quán)衡解的精確度和光滑程度，a越大，解越平滑，適用于LR圖像數(shù)目很小的情況；反之，如果LR圖像數(shù)目大，噪聲小，a較小時(shí)將會(huì)得到較優(yōu)的解。通過(guò)最小化代價(jià)函數(shù)，就可以求解得到一幀唯一的估計(jì)圖像 。在研究魯棒超分辨率圖像重建算法中，需要結(jié)合正則化算法。
5）集合論算法：
超分辨率重建的另一種著名算法是基于集合理論的凸集投影(POCS，projection onto conve* set)算法，這是一種將先驗(yàn)知識(shí)引入重建過(guò)程的迭代算法。
圖像重建的目的是從變質(zhì)圖像中重建出原始圖像，其中的一個(gè)主要問(wèn)題是如何盡量使用先驗(yàn)知識(shí)以提高重建質(zhì)量。根據(jù)集合理論和成像模型，關(guān)于成像系統(tǒng)的沖激響應(yīng)或PSF以及加性噪聲的統(tǒng)計(jì)特性等先驗(yàn)知識(shí)，可視為對(duì)圖像重建結(jié)果的若干約束條件，每一約束條件對(duì)應(yīng)于一個(gè)含有理想超分辨率圖像的凸集
這些凸集的交集 稱為圖像重建的可行域。顯然該可行域仍是一
個(gè)凸集，相應(yīng)其中任一點(diǎn) 稱為一個(gè)可行解。
所謂的凸集投影(POCS)就是從給定的初始值出發(fā)，分別向約束集投影 ，得到可行域中一個(gè)可行解的一種迭代算法，其中 對(duì)應(yīng)于到第j個(gè)凸集的投影。
傳感器的點(diǎn)擴(kuò)散函數(shù)(PSF)和因欠采樣產(chǎn)生的混疊會(huì)使低分辨率圖像發(fā)生模糊。Stark和Oskoui在1987年首次提出將POCS技術(shù)應(yīng)用于超分辨率來(lái)解決因傳感器產(chǎn)生的模糊和欠采樣混疊效應(yīng)M。其原因是超分辨率解空間中可行解具有多個(gè)限制條件，而每一個(gè)限制條件都可以定義為向量空間中的凸集合。這些限制條件一般是超分辨率解比較理想的性質(zhì)，如正定性、能量有界性、觀測(cè)數(shù)據(jù)一致性以及光滑性等。超分辨率重建問(wèn)題的解空間就是這些凸的限制集的交空間。
POCS的算法簡(jiǎn)單，并能夠充分利用先驗(yàn)知識(shí)，但是這種算法求得的解不唯一，求解收斂速度慢，計(jì)算復(fù)雜度比較高。
6）MAP/ML/POCS混合算法:
MAP/ML/POCS混合算法是將隨機(jī)估計(jì)的算法與集合論P(yáng)OCS算法相結(jié)合得到的一種超分辨率重建算法，即在將解限制在特定的凸限制集合的交集空間的基礎(chǔ)上，對(duì)后驗(yàn)概率或似然函數(shù)求最大值，從而得到HR圖像的最佳估計(jì)。
Schultz和Stevenson在文獻(xiàn) 中提出了一種約束MAP超分辨率算法，將迭代MAP算法與交互投影約束結(jié)合使用。在此基礎(chǔ)上，Elad和Feuer提出了一種ML／POCS混合算法，他們利用ML函數(shù)將超分辨率問(wèn)題表示成隨機(jī)推論問(wèn)題，用投影限制算法來(lái)確定最優(yōu)化。
混合算法將隨機(jī)算法和POCS算法的優(yōu)勢(shì)特征相結(jié)合，主要特點(diǎn)是所有的先驗(yàn)知識(shí)都可以有效地結(jié)合使用，與POCS算法相比，能保證有一個(gè)最優(yōu)解。
2．4．2．7 Delaunary三角剖分法 Lertrattanapanich和Bose提出Delaunary三角剖分法，通過(guò)對(duì)使用空間棋盤形鋪嵌和用二元多項(xiàng)式作為平滑約束的中的三角塊進(jìn)行逼近實(shí)現(xiàn)超分辨率重建 。
首先，使用投影模型得到各LR幀的運(yùn)動(dòng)參數(shù)估計(jì)，建立覆蓋由LR幀配準(zhǔn)得到的不規(guī)則采樣光柵的離散頂點(diǎn)集合的Delaunay三角剖分，估計(jì)每個(gè)三角剖分的頂點(diǎn)的梯度向量。
其次，用一個(gè)連續(xù)并且連續(xù)可導(dǎo)的表面來(lái)逼近三角剖分中的每個(gè)三角塊，其目的是使之符合某個(gè)平滑約束，文獻(xiàn) 中采用二元三次多項(xiàng)式。當(dāng)所有的三角塊符合平滑表面后，通過(guò)二元三次多項(xiàng)式的簡(jiǎn)單計(jì)算可以得到HR柵格頂點(diǎn)的像素值，從而得到HR的初始圖像，即噪聲模糊HR圖像。最后，使用塊插入的算法來(lái)對(duì)HR初始圖像進(jìn)行局部更新，去除模糊和噪聲，直到圖像質(zhì)量符合要求。
三角剖分法算法的理論基礎(chǔ)不同于基于概率和基于集合理論的算法。與經(jīng)典的反向投影算法及小波超分辨率算法相比，主要優(yōu)點(diǎn)在于它的低計(jì)算時(shí)間、可實(shí)現(xiàn)并行處理以及局部更新特征。最重要的一點(diǎn)是，該算法對(duì)內(nèi)存的需求比較低，特別適合硬件處理。但是它也有潛在缺點(diǎn)，即在插值中，對(duì)表面使用的三次多項(xiàng)式函數(shù)擬合可能不夠平滑。
8）、 基于學(xué)習(xí)的算法：
超分辨率重建中，隨著分辨率提高倍數(shù)的增加，LR圖像序列所能提供的冗余信息顯得不足，此時(shí)不能靠增加LR圖像的數(shù)量來(lái)產(chǎn)生新的高頻細(xì)節(jié)。這種情況下，關(guān)于圖像本身的先驗(yàn)知識(shí)就顯得非常重要。獲得先驗(yàn)知識(shí)的方法除了統(tǒng)計(jì)方法(概率方法)外，另一個(gè)重要的方法就是神經(jīng)網(wǎng)絡(luò)，可以通過(guò)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練得到。
一個(gè)圖像像素的集合是一種特殊類型的信號(hào)集，和一個(gè)完全隨機(jī)的變量序列相比，它的變化較少，可以通過(guò)神經(jīng)網(wǎng)絡(luò)建立高低分辨率圖像之間的對(duì)應(yīng)關(guān)系。
基于學(xué)習(xí)的算法主要有以下幾個(gè)步驟。
第一步，將高分辨率圖像按照退化模型進(jìn)行退化，產(chǎn)生訓(xùn)練集合；
第二步，根據(jù)高低分辨率塊的對(duì)應(yīng)關(guān)系，通過(guò)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)；
第三步，根據(jù)輸入的低分辨率塊搜索最匹配的高分辨率塊：
其中，學(xué)習(xí)算法和搜索算法的設(shè)計(jì)是該算法的核心問(wèn)題。
最近Hertzmann等人使用了一個(gè)基于訓(xùn)練的算法來(lái)處理超分辨率問(wèn)題，在不同的圖像之間使用類推的算法。William和Freeman等人采用一種學(xué)習(xí)的算法來(lái)實(shí)現(xiàn)單幀圖像的超分辨率重建。Baker和Kanade著重研究在圖像類別己知的情況下進(jìn)行圖像放大。
基于學(xué)習(xí)的圖像超分辨率重建算法雖然不能產(chǎn)生完全正確的高分辨率信息，但是可以得到一些合成的、視覺上似是而非的圖像細(xì)節(jié)，例如銳化的邊緣、模糊的紋理。從理論上講，如果訓(xùn)練集合是通用的，就可以使用這個(gè)訓(xùn)練集合對(duì)各種類型的圖像進(jìn)行放大，但是從文獻(xiàn)報(bào)道來(lái)看，目前算法還僅僅局限適用于訓(xùn)練圖像和重建圖像類型相似的情況�；谟�(xùn)練集合的算法對(duì)于圖像放大、去除噪聲、三維表面重構(gòu)以及圖像成像有所幫助。
2．5．1算法比較與總結(jié)
超分辨率圖像重建的頻域算法和空域算法各有優(yōu)缺點(diǎn)。頻域算法的思路比較清晰，其算法原理都是基于傅里葉變換的平移和混疊特性，易于理解；算法的計(jì)算較為簡(jiǎn)單，基于FFT技術(shù)的運(yùn)算速度較快，并且單個(gè)頻率點(diǎn)可以單獨(dú)計(jì)算，易于實(shí)現(xiàn)大規(guī)模并行運(yùn)算。但其觀測(cè)模型過(guò)于簡(jiǎn)單，只能適用于理想情況下的圖像重建，對(duì)于有運(yùn)動(dòng)模糊和觀測(cè)噪聲的情況，其重建質(zhì)量明顯下降。另外，頻域算法的數(shù)學(xué)模型也很難對(duì)HR圖像的先驗(yàn)知識(shí)進(jìn)行建模，無(wú)法有效地約束求解結(jié)果，而頻域的計(jì)算誤差又會(huì)對(duì)空域圖像產(chǎn)生整體影響，因此實(shí)際工程應(yīng)用中很難得到穩(wěn)定而可靠的解。
空域超分辨率算法相對(duì)于頻域算法最大的特點(diǎn)在于其靈活性，算法直接對(duì)空域圖像像素做處理，可以靈活地對(duì)全局運(yùn)動(dòng)和局部運(yùn)動(dòng)、光學(xué)模糊和運(yùn)動(dòng)模糊以及隨機(jī)噪聲等進(jìn)行建模。特別是基于POCS和MAP算法的數(shù)學(xué)框架，對(duì)復(fù)雜的觀測(cè)模型兼容性很好�？沼蛩惴ǖ挠�(jì)算過(guò)程通�？梢圆捎谜齽t化的方法約束求解結(jié)果，因此易于包含圖像的先驗(yàn)知識(shí)，而先驗(yàn)知識(shí)對(duì)于病態(tài)反問(wèn)題的求解非常重要。但空域算法也有其缺陷，其算法的機(jī)理大多數(shù)基于最優(yōu)化理論，相對(duì)于頻域算法其原理較為復(fù)雜，不直觀。雖然其觀測(cè)模型的靈活度非常高，但相應(yīng)地其計(jì)算量也非常大，特別是采用迭代的計(jì)算方法，其運(yùn)算時(shí)間往往較長(zhǎng)。
2．6本章小結(jié)
本章首先對(duì)圖像超分辨率重建算法的觀測(cè)模型的構(gòu)建進(jìn)行了介紹，指出了圖像超分辨率重建算法是一個(gè)病態(tài)反問(wèn)題及其原因，然后對(duì)圖像超分辨率重建過(guò)程進(jìn)行了詳細(xì)分析，其主要可以分為圖像配準(zhǔn)、插值和重建幾個(gè)步驟。最后，對(duì)圖像超分辨率重建技術(shù)的主流技術(shù)，即頻域算法和空域算法進(jìn)行了詳盡的分析和比較。










第三章 基于MAP的BTV超分辨率圖像重建算法

由前文可知，因基于圖像建模理論的正則化超分辨率重建框架所具有的靈活性，使之成為了當(dāng)前SR重建技術(shù)研究的主要方向。在MAP框架下，SR重建就是一個(gè)基于馬爾柯夫隨機(jī)場(chǎng)（Markov Random Field，MRF）先驗(yàn)圖像模型的統(tǒng)計(jì)推斷問(wèn)題，且先驗(yàn)統(tǒng)計(jì)模型的合理性直接決定著超分辨率重建圖像的效果。
運(yùn)用信號(hào)處理技術(shù)從一系列模糊、混有噪聲的多幅低分辨率(LR)圖像中,創(chuàng)建一幅或多幅細(xì)節(jié)更加豐富的高分辨率(HR)圖像,這種方法就稱為圖像超分辨率重建 (SR)。SR算法主要分為空域和頻域方法兩大類。其中,頻域法直觀簡(jiǎn)單且計(jì)算復(fù)雜度低,但不能包含圖像空域先驗(yàn)信息,缺乏數(shù)據(jù)間的相關(guān)性,已不是研究的主流�？沼蚍椒`活性強(qiáng),有較好包含空域先驗(yàn)約束信息的能力,主要方法有迭代反向投影法、凸集投影法(POCS)、MAP法、混合POCS/MAP法、正則化方法、基于學(xué)習(xí)的方法、小波方法等。其中基于MAP框架下圖像超分辨率正則化技術(shù)可以直接加入先驗(yàn)信息約束、去噪能力強(qiáng)、邊緣保持好,靈活性強(qiáng)、適用范圍廣,是當(dāng)前SRR算法研究的熱點(diǎn)之一。本文以圖像灰度連續(xù)性為先驗(yàn)信息,提出了一種基于梯度連續(xù)和雙邊全變差(BTV)的雙正則項(xiàng)目標(biāo)方程,而對(duì)于數(shù)據(jù)保真項(xiàng),我們采用Lorentzian范數(shù)構(gòu)造,實(shí)驗(yàn)證明本文方法去除各類噪聲的能力較強(qiáng),邊緣保持較好。
3.1簡(jiǎn)要的介紹MAP正則化目標(biāo)函數(shù)
基于MAP的代價(jià)函數(shù)表示為如下形式：
(3.1)
通常稱λ為正則化參數(shù)；C為正則化算子。要使得(3.1)式取最小，直接的方法是對(duì)其求偏微分并令其為零，如下式所示：
（3.2）
上式中，R通常是一個(gè)非常大的矩陣，例如，對(duì)于一幅1000*1000的圖像*，矩陣R的大小為106 *106，這樣的矩陣不僅要耗費(fèi)巨大的內(nèi)存資源，而且在運(yùn)算中，
即使它的逆矩陣存在，也很難求出具體的結(jié)果。因此，通常情況下，我們可以利
用基于梯度的迭代方法求方程的最優(yōu)解，得到迭代公式如下：
（3.3）
(3.4)
n=0，1，2…為迭代次數(shù)，β為迭代步長(zhǎng)。
在求解最優(yōu)的過(guò)程中，首先應(yīng)選取一個(gè)初始值 ，代入式(3.4)中求出梯度g(n)，然后將g(n)代入式(3.3)中對(duì)估計(jì)值進(jìn)行修正。迭代過(guò)程直到滿足預(yù)先所設(shè)定的終止條件時(shí)停止，此時(shí)的估計(jì)值 就是所要求的最佳估計(jì)。
目標(biāo)方程(3.1)是在假設(shè)噪聲服從零均值高斯分布和圖像先驗(yàn)?zāi)Ｐ筒捎肎auss-Markov隨機(jī)場(chǎng)的情況下得到的。因此，基于MAP框架的更為通用的目標(biāo)函數(shù)框架可表示為：
（3.5）
其中，前一項(xiàng)稱為保真度項(xiàng)；后一項(xiàng)稱為正則化項(xiàng)；λ為正則化參數(shù)；l代表了范數(shù)的階數(shù)。采用不同的先驗(yàn)信息和概率模型，目標(biāo)方程的細(xì)節(jié)會(huì)有所變化，算法的性能也會(huì)有所改變。
3.2代價(jià)方程保真度項(xiàng)分析
3.2.1二階范數(shù)算法分析
通過(guò)前面3.1節(jié)的討論，最終得到了基于MAP正則化算法的代價(jià)方程式式(3.5)。其中，第一項(xiàng)稱為保真度項(xiàng)，從物理意義上理解，它反應(yīng)了重建圖像與原始圖像真實(shí)值之間的誤差。當(dāng)重建結(jié)果越接近真實(shí)值時(shí)，對(duì)它進(jìn)行同樣的降質(zhì)過(guò)程得到的低分辨率圖像就越與已觀測(cè)到的LR圖像相近似，該項(xiàng)的值就越小。
關(guān)于式(3.5)中l(wèi)的選擇，由于要保證整個(gè)代價(jià)函數(shù)為凸函數(shù)性質(zhì)，因此l的取值一般應(yīng)滿足1≤l≤2。在應(yīng)用中為便于計(jì)算，常取l=1或l=2。當(dāng)取l=2時(shí)，即采用二階范數(shù)，由前面的推導(dǎo)可知，這實(shí)際上是假設(shè)圖像系統(tǒng)的噪聲服從零均值高斯分布時(shí)的情況。因此，采用二階范數(shù)重建算法適合于噪聲服從高斯分布的圖像系統(tǒng)，而對(duì)于其它的噪聲，它的重建效果將會(huì)受到一定的影響。
3.2.2一階范數(shù)算法分析
通過(guò)以上對(duì)于二階范數(shù)重建算法的分析，可知它是在假設(shè)圖像系統(tǒng)的噪聲服從高斯分布的條件下得出的，對(duì)于含有高斯噪聲的圖像重建效果較好，但對(duì)于存在非高斯分布奇異值的情況，其恢復(fù)的結(jié)果中就會(huì)有明顯的偏差。因此，二階范數(shù)的重建方法不具有魯棒性。
為了更加方便的衡量算法的魯棒性，我們引入失效點(diǎn)的概念。它用百分比表示，表示使得估計(jì)結(jié)果產(chǎn)生偏差時(shí)歧義點(diǎn)的數(shù)目所占的最小比例。例如：對(duì)于均值估計(jì)，一個(gè)歧義點(diǎn)的存在就可能使得均值偏離預(yù)期，所以均值估計(jì)的失效點(diǎn)就為0。而對(duì)于魯棒的估計(jì)算法，如取中值估計(jì)，失效點(diǎn)可以達(dá)到最高的值為0.5。這就表明在歧義點(diǎn)的個(gè)數(shù)不超過(guò)點(diǎn)集的一半時(shí)，中值估計(jì)的結(jié)果將不會(huì)受到影響。
考慮保真度項(xiàng)的相應(yīng)目標(biāo)函數(shù)： 。假設(shè)系統(tǒng)具有相同的空間不變的PSF和相同的下采樣因子[27]，則有 ，同時(shí)，僅考慮存在平移運(yùn)動(dòng)的情況，矩陣B和 都是塊循環(huán)矩陣，由塊循環(huán)矩陣的性質(zhì)可知： 。因此，保真度項(xiàng)的目標(biāo)函數(shù)可重新表示為： (3.6)
其中Z=B*，則求最小的問(wèn)題就分解成了兩步：(1)從LR圖像中求出模糊的HR圖像Z；對(duì)Z進(jìn)行去模糊操作得到*。
對(duì)(3.6)式求梯度得：
(3.7)
表示向量對(duì)應(yīng)元素的乘積。另 可求出解Z。對(duì)于所要求解的Z的簡(jiǎn)單解釋是：向量Z是給定像素點(diǎn)上所有觀察值的加權(quán)平均。我們考慮l=2時(shí)
(3.8)
文獻(xiàn)[29]中已證明，l=2時(shí)是在像素點(diǎn)上對(duì)觀察信息求平均值的過(guò)程。如果l=1，則梯度為：
(3.9)
注意到， 的矩陣操作是將低分辨率網(wǎng)格上的像素值平移后復(fù)制到相應(yīng)的高分辨率網(wǎng)格適當(dāng)?shù)奈恢茫叻直媛示W(wǎng)格的其余部分填零；而 的矩陣操作是將高分辨率網(wǎng)格中的像素值復(fù)制到低分辨率網(wǎng)格，這兩個(gè)過(guò)程都沒(méi)有改變像素值，示意圖如3-4所示。

因此，根據(jù)式(3.9)，可知每一幀LR圖像對(duì)于Z中相對(duì)應(yīng)像素值的影響有如下三種形式：
(1)像素值加0，當(dāng)填充值為0時(shí)；
(2)像素值加1，當(dāng)Z中像素值大于相應(yīng)的 中的像素值時(shí)；
(3)像素值減1，當(dāng)Z中的像素值小于相應(yīng)的 中的像素值時(shí)；
由此可以得出結(jié)論，一階范數(shù)的重建結(jié)果Z中的像素值，是低分辨率圖像中相應(yīng)像素值的中值。*可以通過(guò)對(duì)Z去模糊操作得到。
根據(jù)前面的討論已知，二階范數(shù)求最小相當(dāng)于假設(shè)系統(tǒng)噪聲服從高斯分布。實(shí)際上，一階范數(shù)求最小相當(dāng)于假設(shè)系統(tǒng)的噪聲分布服從拉普拉斯分布[28][29]。
3.3 實(shí)驗(yàn)仿真與分析
本節(jié)實(shí)驗(yàn)中，我們將采用雙線性插值的方法重建算法，對(duì)16幅低分辨率圖像進(jìn)行超分辨率重建。實(shí)驗(yàn)中假定低分辨率圖像序列間僅存在平移運(yùn)動(dòng)，點(diǎn)擴(kuò)散函數(shù)為平移不變的，并且所有的低分辨率圖像都具有相同的下采樣算子(即 )。由于矩陣F，B，D以及它們的轉(zhuǎn)置，在實(shí)驗(yàn)中都可以通過(guò)直接在圖像上進(jìn)行平移、模糊和下采樣等操作來(lái)實(shí)現(xiàn)，因此就無(wú)需構(gòu)造大矩陣H，這使得算法的實(shí)現(xiàn)更加快速有效。
為了增加實(shí)驗(yàn)的可靠性，拍攝了幾組的低分辨率圖像。我們利用16幅LR（90*90）圖像進(jìn)行超分辨率重建，得到一幅256*256的圖像。結(jié)果如下圖所示：
LR圖像 雙三次插值得到的圖像
由上圖可見，采用直接的插值算法難以得到滿意的HR圖像，圖像輪廓在一定程度上變得模糊。接下來(lái)的實(shí)驗(yàn)將證明而采用基于一階范數(shù)的重建算法，在完全配準(zhǔn)和高斯噪聲的情況下，不僅能夠較好的抑制噪聲的影響，同時(shí)也能夠有效的恢復(fù)出圖像的高頻細(xì)節(jié)信息。
以下我們還是選用具有全局平移運(yùn)動(dòng)的16幅低分辨率圖像作為測(cè)試圖像，運(yùn)動(dòng)信息未知，實(shí)驗(yàn)中利用簡(jiǎn)單的頻域算法進(jìn)行運(yùn)動(dòng)信息的估計(jì)。同時(shí)，假設(shè)未知的PSF是5*5的平均模糊。實(shí)驗(yàn)結(jié)果如下圖3-6所示：

雙三次插值圖像、BTV圖像
上圖中，利用一階范數(shù)重建的結(jié)果中物體邊緣出現(xiàn)了明顯的模糊，這主要是由于配準(zhǔn)算法不夠精確，使得估計(jì)的運(yùn)動(dòng)信息不準(zhǔn)造成的；而在使用相同的配準(zhǔn)參數(shù)條件下，一階范數(shù)重建結(jié)果應(yīng)該物體邊緣更為清晰。因?yàn)槎A范數(shù)重建算法對(duì)于配準(zhǔn)誤差沒(méi)有一定的魯棒性，能夠在配準(zhǔn)存在誤差時(shí)無(wú)法保證重建的效果。
3.3代價(jià)方程正則化項(xiàng)分析-雙邊濾波正則化算子
通過(guò)3.1節(jié)的推導(dǎo)，我們得出了代價(jià)方程(3.5)：

其中，通常稱第二項(xiàng)為正則化項(xiàng)；λ為正則化參數(shù)（關(guān)于λ的選取將在下一章討論）。由于超分辨率重建問(wèn)題的不適定性，需要正則化來(lái)保證得到穩(wěn)定的解。同時(shí)，通常正則化項(xiàng)都是關(guān)于原始圖像系統(tǒng)先驗(yàn)信息的一種描述，因此在重建的過(guò)程中能夠幫助去除結(jié)果中的奇值，提高算法的收斂速率。在選擇使用正則化條件時(shí)，我們所希望的是即易于實(shí)現(xiàn)，又能夠較好的保持圖像邊緣細(xì)節(jié)信息的正則化項(xiàng)。
為了能夠很好的去除圖像中的噪聲影響，通常假設(shè)圖像的先驗(yàn)知識(shí)為全局平滑的。文獻(xiàn)[32]中提出了一種更為成功的正則化方法，稱為總變差（Total Variation，TV）法。該方法通過(guò)在L1范數(shù)下計(jì)算圖像梯度來(lái)衡量圖像總的變化，并對(duì)圖像總的變化量進(jìn)行限制，如下式：
(3.10)
其中 是梯度算子�？傋儾罘ㄗ畲蟮膬�(yōu)勢(shì)在于能夠在抑制重建圖像中的噪聲的同時(shí)，很好的保留圖像的邊緣細(xì)節(jié)信息。
在總變差正則化的基礎(chǔ)上，文獻(xiàn)[27]提出了一種基于雙邊濾波器（BTV）的正則化算法，不僅在計(jì)算上易于實(shí)現(xiàn)，而且能夠保持邊緣信息。其正則化函數(shù)形式寫為：
(3.11)
其中 和 為矩陣算子，表示將*在水平和垂直方向分別平移l和k個(gè)像素值， 代表了*在不同尺度上的差分；α為權(quán)重系數(shù)(0<α<1)，通過(guò)調(diào)整α的值，能夠?qū)崿F(xiàn)正則化的權(quán)重系數(shù)在空域上遞減。由此可見，在BTV正則化項(xiàng)中，同時(shí)引入了值域和空域上的雙重約束。在圖像內(nèi)容的邊界處，濾波窗口會(huì)沿著邊沿方向選取算子的大小，選取合適的數(shù)據(jù)進(jìn)行正則化求解。
當(dāng)m=0,l=1,α=1或m=1,l=0,α=1時(shí)，(3.11)式就變?yōu)榱?br> (3.12)
其中 表示一階微分。在[33]中證明了式(3.12)是對(duì)TV正則化的一種計(jì)算效率更高的可靠估計(jì)。BTV正則化可看成其它正則化的一般形式。
結(jié)合上一節(jié)中給出的一階范數(shù)重建算法和本節(jié)所討論的BTV正則化算子，我們得到代價(jià)方程如下：
(3.13)
由于一階范數(shù)的魯棒性，式(3.13)所代表的就是一種魯棒的重建算法。此最小化問(wèn)題能夠通過(guò)利用最陡下降算法求解，得到求解公式如(3.14)，通過(guò)迭代求解最終可以 ……（未完，全文共93515字，當(dāng)前僅顯示16820字，請(qǐng)閱讀下面提示信息。收藏《畢業(yè)論文：圖像重建數(shù)學(xué)模型和超分辨率空域重建算法研究》）