一種實時高動態(tài)范圍數(shù)字圖像獲取裝置及方法

1.一種實時高動態(tài)范圍數(shù)字圖像獲取方法，使用如下實時高動態(tài)范圍數(shù)字圖像獲取裝置，所述實時高動態(tài)范圍數(shù)字圖像獲取裝置包括FPGA可編程邏輯器件、CCD成像陣面、視頻專用A/D芯片、協(xié)處理器DSP及靜態(tài)隨機存儲器SRAM，所述的CCD成像陣面、視頻專用A/D芯片和FPGA可編程邏輯器件依次相連，所述的FPGA可編程邏輯器件通過靜態(tài)隨機存儲器SRAM與協(xié)處理器DSP之間相互傳輸信息，所述的FPGA可編程邏輯器件分別通過USB適配器和以太網(wǎng)適配器將視頻輸出，其特征在于：包括下列步驟：
（1）由FPGA可編程邏輯器件產(chǎn)生精密像素讀出時序和各種控制信號，實現(xiàn)CCD曝光時間控制和圖像數(shù)據(jù)的有序讀出；控制視頻專用A/D芯片轉(zhuǎn)換和協(xié)處理器DSP進行圖像分析與相關參數(shù)計算；并最終生成標準數(shù)字視頻輸出；
（2）在FPGA可編程邏輯器件對圖像進行分層后，通過協(xié)處理器DSP對圖像進行濾波處理，消除成像過程中引入的噪聲，并對層次圖像信息分析，為FPGA進行圖像融合提供參數(shù)，保證合成高質(zhì)量高動態(tài)范圍圖像；
（3）利用協(xié)處理器DSP提供的參數(shù)，對同一視場多幀不同曝光的圖像按照算法進行融合處理，并采用直方圖均衡的方法，對融合的圖像進行調(diào)整，并轉(zhuǎn)換成標準的數(shù)字視頻信號；
（4）對FPGA可編程邏輯器件融合的圖像數(shù)據(jù)進行相應的數(shù)字視頻信號編碼，并且采用TCP/IP通信協(xié)議，對數(shù)字視頻進行輸出。
2.根據(jù)權利要求1所述的方法，其特征在于：所述的步驟（1）中的CCD曝光時間控制包括兩種不同獲取曝光序列圖像模式：一種模式是由以FPGA可編程邏輯器件為核心的中央控制部件控制CCD成像陣面的曝光時間，獲取不同曝光的圖像序列；另一種模式是在保持CCD成像陣面曝光時間不變的條件下，通過系統(tǒng)引出控制接線端口，同步控制成像過程外接光源的發(fā)光強度，實現(xiàn)圖像序列的不同曝光。
3.根據(jù)權利要求1所述的方法，其特征在于：所述的步驟（2）以FPGA可編程邏輯器件為核心控制與運算部件，DSP為協(xié)處理器，采用兩條流水線工作方式，實現(xiàn)對圖像數(shù)據(jù)的并行操作，實現(xiàn)圖像數(shù)據(jù)采集、圖像分析、處理和圖像融合；其中，F(xiàn)PGA可編程邏輯器件為中央控制器實現(xiàn)高動態(tài)范圍圖像的最終融合，DSP為協(xié)處理器，實現(xiàn)圖像分析和相關參數(shù)計算。
4.根據(jù)權利要求1所述的方法，其特征在于：所述的FPGA可編程邏輯器件與協(xié)處理器DSP的并行操作時，以SRAM為存儲堆，構成圖像數(shù)據(jù)的緩存池結(jié)構，并配合靜態(tài)隨機存儲器SRAM訪問邏輯控制單元，實現(xiàn)FPGA可編程邏輯器件與協(xié)處理器DSP的并行操作。
5.根據(jù)權利要求1所述的方法，其特征在于：所述的步驟（3）的圖像融合方法，是將CCD連續(xù)采集的同一場景四幀不同曝光強度的輸出圖像進行信息融合；直接采用硬件描述語言實現(xiàn)拉普拉斯金字塔算法，先對圖像幀進行分層，再對層次圖像進行信息分析和相關參數(shù)計算，并確定不同曝光圖像的層次圖參與圖像融合的權重系數(shù)，最后采用拉普拉斯金字塔逆算法實現(xiàn)高動態(tài)范圍圖像合成。
6.根據(jù)權利要求1所述的方法，其特征在于：所述的步驟（1）～（4）包括系列步驟：
（a）根據(jù)曝光成像模式，連續(xù)生成同一視野不同曝光的4幀模擬圖像，由FPGA可編程邏輯器件控制其專用的A/D進行轉(zhuǎn)換，并依次對圖像快速分層后，分別讀入不同四片靜態(tài)隨機存儲器SRAM；
（b）在完成一幀圖像的存儲后，啟動協(xié)處理器DSP依次對同一場景4幀不同曝光強度的圖像序列采用改進的均值濾波和改進的中值濾波對圖像進行處理，實現(xiàn)濾除噪聲、強化圖像的細節(jié)特征，并進行層次圖像分析和參數(shù)計算；
（c）FPGA可編程邏輯器件對圖像的分層與儲存、協(xié)處理器DSP對圖像的分析與參數(shù)計算分別為不同的流水線進行并行操作；
（d）協(xié)處理器DSP分別采用梯度與信息熵聯(lián)合的決策算法評定層次圖像的質(zhì)量，并決定各層次圖像參與融合的權重系數(shù)；
（e）對協(xié)處理器DSP處理完的4幀圖像，由FPGA可編程邏輯器件進行融合處理，其方法是：對協(xié)處理器DSP將處理好的圖像數(shù)據(jù)和相關計算參數(shù)載入靜態(tài)隨機存儲器SRAM，F(xiàn)PGA可編程邏輯器件根據(jù)預先指定的算法，對圖像數(shù)據(jù)進行融合處理；
（f）對融合后的像素，采用直方圖均衡的方法，對寬范圍的圖像灰度級進行影射處理，使其轉(zhuǎn)換成能在普通顯示器顯示的圖像格式；
（g）處理后的圖像數(shù)據(jù)，再加上混合同步，混合削隱信號和像素時鐘進一步合成數(shù)字視頻信號，并通過TCP/IP協(xié)議由FPGA輸出合成高動態(tài)圖像f(x，y)。

一種實時高動態(tài)范圍數(shù)字圖像獲取裝置及方法\n技術領域\n[0001] 本發(fā)明屬高精度成像及檢測技術領域，特別是涉及一種實時高動態(tài)范圍數(shù)字圖像獲取裝置及方法。\n背景技術\n[0002] 隨著科學技術的高速發(fā)展，監(jiān)控技術的不斷發(fā)展，檢測和細加工的精度不斷提高以及加工對象的不斷變化，對圖像觀察、處理和特征檢測等提出了越來越高的要求，尤其在監(jiān)控及X光檢測領域，其產(chǎn)品已深入影響到全球經(jīng)濟發(fā)展的各大領域，另外在半導體微電子行業(yè)、光通訊、光存儲、航天工業(yè)、生物芯片等產(chǎn)品的圖像檢測也顯得越來越重要。精細加工的高精度檢測一直是工業(yè)生產(chǎn)和科學研究的重要部分。\n[0003] 另外，在目前的安防行業(yè)，通過視頻監(jiān)控可以看出這個市場的廣闊前景和成長情況。在監(jiān)控攝像機的應用過程中，經(jīng)常會出現(xiàn)明暗反差較大或逆光的場景。出于安全考慮，CCD攝像機被安裝在需要監(jiān)控的室內(nèi)外，由于在同一位置往往會面臨多種照明條件，很多地方照明條件分為日光和人工照明的混合光，并在不同時段下，常出現(xiàn)明暗反差非常大、背光等情況，如在銀行儲蓄所、重要場所出入口等，因為從窗外射入的強光和從天花板上的熒光燈照射的柔和光線，都可能對當時室內(nèi)、外景象的捕獲造成困難，不能同時對反差很大的室內(nèi)、外場景清晰地拍攝下來。然而對于監(jiān)控行業(yè)來說，要求在復雜的光線條件下，拍攝出清晰畫面，不丟失細節(jié)。普通攝像機由于受CCD感光特性所限制，拍攝圖像會出現(xiàn)背景過亮、前景過暗，或背景清晰、前景過暗及前景適合、背景過亮的情況，傳統(tǒng)攝像機一般會采用背光補償技術或在室內(nèi)外放置多臺攝像機來適應較大的光線反差，但效果不太理想。造成以上現(xiàn)象的原因，是由于在目前CCD圖像傳感器制造技術條件下，圖像傳感器動態(tài)范圍是由它的信號飽和電平和噪聲電平?jīng)Q定。它反映了器件在不同光照度下的工作范圍。其數(shù)值可以用輸出端的信號峰值電壓與均方根噪聲電壓的比值來表示，其單位符號通常為dB，一般為60-80dB，而人眼在觀察目標時，可以看清目標的最低照度為1lx，在夏天的中午，當目標\n5\n照度達到3×10lx時，人眼仍可以看清目標。由此可知，通過眼睛瞳孔的自動調(diào)節(jié)，人眼分辨物體的動態(tài)范圍大致為110dB。用動態(tài)范圍較小的圖像傳感器記錄動態(tài)范圍較高的圖像，總會有圖像信息的丟失。對高動態(tài)范圍的圖像的顯示也碰到同樣的困難，一般需進行對數(shù)變換后進行顯示。為了提高圖像的質(zhì)量，目前常用的方法是對某一幀圖像進行處理，如圖像的增強、校正和變換等處理，但其能力有限，對記錄時就已經(jīng)丟失的信息是很難或根本不可能在后續(xù)的處理過程中得到恢復。但是可以通過改變圖像的光照強度來移動，比如可使圖像整體變暗或整體變亮。圖像灰度范圍一旦進入傳感器線性響應范圍內(nèi)，相應的這一部分的結(jié)構信息就能被真實地記錄下來。因此，從理論說，可以通過改變輸入圖像的光照強度或曝光時間來記錄下同一視場多幀圖像的方法，實現(xiàn)記錄場景全部信息。\n[0004] 基于目前的成像系統(tǒng)，其成像質(zhì)量受環(huán)境影響大，尤其是在一定的光照條件下，通過CCD所獲取的圖像，其動態(tài)范圍較窄，特別是對光照過亮或過暗場景，無法記錄或表達場景中亮區(qū)和暗區(qū)場景的全部圖像信息，難以在滿足特定環(huán)境下對場景的觀察和檢測質(zhì)量的要求。為了得到視野清晰圖像，實現(xiàn)對場景的有效、客觀分析、科學評判和精確測量，急需在觀察、檢測前擴展圖像的動態(tài)范圍，以獲取場景的豐富信息。\n發(fā)明內(nèi)容\n[0005] 本發(fā)明所要解決的技術問題是提供一種通過對二維成像CCD陣面進行外圍電路設計，直接由硬件對采集的圖像數(shù)據(jù)進行處理，實現(xiàn)同一視野不同曝光的多幀圖像進行信息融合，實時獲取高動態(tài)范圍圖像的實時高動態(tài)范圍數(shù)字圖像獲取裝置及方法。\n[0006] 本發(fā)明解決其技術問題所采用的技術方案是：提供一種實時高動態(tài)范圍數(shù)字圖像獲取裝置，包括FPGA可編程邏輯器件、CCD成像陣面、視頻專用A/D芯片、協(xié)處理器DSP及靜態(tài)隨機存儲器SRAM，所述的CCD成像陣面、視頻專用A/D芯片和FPGA可編程邏輯器件依次相連，所述的FPGA可編程邏輯器件通過靜態(tài)隨機存儲器SRAM與協(xié)處理器DSP之間相互傳輸信息，所述的FPGA可編程邏輯器件分別通過USB適配器和以太網(wǎng)適配器將視頻輸出。\n[0007] 一種使用權利要求1所述的實時高動態(tài)范圍數(shù)字圖像獲取裝置的方法，包括下列步驟：\n[0008] (1)由FPGA可編程邏輯器件產(chǎn)生精密像素讀出時序和各種控制信號，實現(xiàn)CCD曝光時間控制和圖像數(shù)據(jù)的有序讀出；控制視頻專用A/D芯片轉(zhuǎn)換和協(xié)處理器DSP進行圖像分析與相關參數(shù)計算；并最終生成標準數(shù)字視頻輸出；\n[0009] (2)在FPGA可編程邏輯器件對圖像進行分層后，通過協(xié)處理器DSP對圖像進行濾波處理，消除成像過程中引入的噪聲，并對層次圖像信息分析，為FPGA進行圖像融合提供參數(shù)，保證合成高質(zhì)量高動態(tài)范圍圖像；\n[0010] (3)利用協(xié)處理器DSP提供的參數(shù)，對同一視場多幀不同曝光的圖像按照算法進行融合處理，并采用直方圖均衡的方法，對融合的圖像進行調(diào)整，并轉(zhuǎn)換成標準的數(shù)字視頻信號；\n[0011] (4)對FPGA可編程邏輯器件融合的圖像數(shù)據(jù)進行相應的數(shù)字視頻信號編碼，并且采用TCP/IP通信協(xié)議，對數(shù)字視頻進行輸出。\n[0012] 所述的步驟(1)中的CCD曝光時間控制包括兩種不同獲取曝光序列圖像模式：一種模式是由以FPGA可編程邏輯器件為核心的中央控制部件控制CCD成像陣面的曝光時間，獲取不同曝光的圖像序列；另一種模式是在保持CCD成像陣面曝光時間不變的條件下，通過系統(tǒng)引出控制接線端口，同步控制成像過程外接光源的發(fā)光強度，實現(xiàn)圖像序列的不同曝光。\n[0013] 所述的步驟(2)以FPGA可編程邏輯器件為核心控制與運算部件，DSP為協(xié)處理器，采用兩條流水線工作方式，實現(xiàn)對圖像數(shù)據(jù)的并行操作，實現(xiàn)圖像數(shù)據(jù)采集、圖像分析、處理和圖像融合；其中，F(xiàn)PGA可編程邏輯器件為中央控制器實現(xiàn)高動態(tài)范圍圖像的最終融合，DSP為協(xié)處理器，實現(xiàn)圖像分析和相關參數(shù)計算。\n[0014] 所述的FPGA可編程邏輯器件與協(xié)處理器DSP的并行操作時，以SRAM為存儲堆，構成圖像數(shù)據(jù)的緩存池結(jié)構，并配合靜態(tài)隨機存儲器SRAM訪問邏輯控制單元，實現(xiàn)FPGA可編程邏輯器件與協(xié)處理器DSP的并行操作。\n[0015] 所述的步驟(3)的圖像融合方法，是將CCD連續(xù)采集的同一場景四幀不同曝光強度的輸出圖像進行信息融合；直接采用硬件描述語言實現(xiàn)拉普拉斯金字塔算法，先對圖像幀進行分層，再對層次圖像進行信息分析和相關參數(shù)計算，并確定不同曝光圖像的層次圖參與圖像融合的權重系數(shù)，最后采用拉普拉斯金字塔逆算法實現(xiàn)高動態(tài)范圍圖像合成。\n[0016] 所述的步驟(1)～(4)包括系列步驟：\n[0017] (a)根據(jù)曝光成像模式，連續(xù)生成同一視野不同曝光的4幀模擬圖像，由FPGA可編程邏輯器件控制其專用的A/D進行轉(zhuǎn)換，并依次對圖像快速分層后，分別讀入不同四片靜態(tài)隨機存儲器SRAM；\n[0018] (b)在完成一幀圖像的存儲后，啟動協(xié)處理器DSP依次對同一場景4幀不同曝光強度的圖像序列采用改進的均值濾波和改進的中值濾波對圖像進行處理，實現(xiàn)濾除噪聲、強化圖像的細節(jié)特征，并進行層次圖像分析和參數(shù)計算；\n[0019] (c)FPGA可編程邏輯器件對圖像的分層與儲存、協(xié)處理器DSP對圖像的分析與參數(shù)計算分別為不同的流水線進行并行操作；\n[0020] (d)協(xié)處理器DSP分別采用梯度與信息熵聯(lián)合的決策算法評定層次圖像的質(zhì)量，并決定各層次圖像參與融合的權重系數(shù)；\n[0021] (e)對協(xié)處理器DSP處理完的4幀圖像，由FPGA可編程邏輯器件進行融合處理，其方法是：對協(xié)處理器DSP將處理好的圖像數(shù)據(jù)和相關計算參數(shù)載入靜態(tài)隨機存儲器SRAM，F(xiàn)PGA可編程邏輯器件根據(jù)預先指定的算法，對圖像數(shù)據(jù)進行融合處理；\n[0022] (f)對融合后的像素，采用直方圖均衡的方法，對寬范圍的圖像灰度級進行影射處理，使其轉(zhuǎn)換成能在普通顯示器顯示的圖像格式；\n[0023] (g)處理后的圖像數(shù)據(jù)，再加上混合同步，混合削隱信號和像素時鐘進一步合成數(shù)字視頻信號，并通過TCP/IP協(xié)議由FPGA輸出合成高動態(tài)圖像f(x，y)。\n[0024] 有益效果\n[0025] 本發(fā)明可以實時生成高動態(tài)圖像，有效地表達亮區(qū)和暗區(qū)的場景信息，增強圖像的細節(jié)特征，提高CCD所攝取圖像的質(zhì)量。在X光成像檢測領域、紅外成像、半導體微電子行業(yè)、光通訊、光存儲、航天工業(yè)、生物芯片及生物細胞自動識別等方面有廣泛應用。\n附圖說明\n[0026] 圖1系統(tǒng)功能結(jié)構示意圖。\n[0027] 圖2緩存控制結(jié)構圖。\n[0028] 圖3高動態(tài)范圍圖像融合示意圖。\n[0029] 圖4實時高動態(tài)圖像生成流程圖。\n具體實施方式\n[0030] 下面結(jié)合具體實施例，進一步闡述本發(fā)明。應理解，這些實施例僅用于說明本發(fā)明而不用于限制本發(fā)明的范圍。此外應理解，在閱讀了本發(fā)明講授的內(nèi)容之后，本領域技術人員可以對本發(fā)明作各種改動或修改，這些等價形式同樣落于本申請所附權利要求書所限定的范圍。\n[0031] 如圖1-4所示，本發(fā)明硬件設備包括CCD成像陣面，F(xiàn)PGA可編程邏輯器件(簡稱為FPGA)、視頻專用A/D芯片、協(xié)處理器DSP(簡稱為DSP)及靜態(tài)隨機存儲器SRAM(簡稱為SRAM)組等，由FPGA可編程邏輯器件為核心器件組成中央控制單元，實現(xiàn)CCD成像陣面在成像過程中所需要的曝光和讀出時序、控制由DSP等構成的協(xié)處理器完成圖像分析和參數(shù)計算；完成高動態(tài)圖像的合成及數(shù)字視頻圖像輸出?？刂朴蒘RAM組成系統(tǒng)的圖像數(shù)據(jù)雙操作的數(shù)據(jù)存取模式，實現(xiàn)FPGA與DSP的并行操作，提高系統(tǒng)的實時性。其裝置包括以下功能：\n[0032] (1)控制時序產(chǎn)生模塊：由高速的FPGA產(chǎn)生精密的控制時序和控制信號，控制CCD的曝光時間和像素點的行時序、列時序、場時序等及其功能器件的的控制信號。\n[0033] (2)圖像數(shù)據(jù)濾波及分析模塊：主要通過協(xié)處理器DSP實現(xiàn)圖像濾波處理，消除成像過程中引入的噪聲；并采用評價函數(shù)對不同曝光的圖像數(shù)據(jù)進行分析，計算最佳的權重因子，為FPGA進行圖像融合提供參數(shù)，以保證合成高質(zhì)量高動態(tài)范圍圖像。\n[0034] (3)高動態(tài)圖像融合與處理模塊：對同一視場多幀不同曝光的圖像按算法進行融合處理，并采用直方圖均衡的方法，對寬范圍的圖像灰度級進行影射處理，使其能在普通顯示器顯示的信息豐富的高清圖像。\n[0035] (4)數(shù)字視頻輸出處理模塊：對FPGA融合的圖像數(shù)據(jù)進行相應的數(shù)字視頻信號編碼，并且采用TCP/IP通信協(xié)議，對數(shù)字視頻進行輸出。\n[0036] 考慮到圖像曝光可采用不同的方法，本發(fā)明提出兩種不同圖像曝光模式。一是在控制CCD成像陣面曝光時間不變條件下，通過系統(tǒng)端口引出信號控制外部光源的發(fā)光強度，實現(xiàn)圖像序列不同曝光。二是在保持成像環(huán)境光強不變的情況下，通過控制內(nèi)部CCD的曝光時間方法，實現(xiàn)圖像序列曝光時間不同。\n[0037] 在模式一條件下，首先保持CCD圖像傳感器各像素曝光時間不變，由FPGA根據(jù)像素的整體灰度的情況，對同一視野連續(xù)4幀圖像，分別在其成像過程中，控制其外部光源的發(fā)光強度，以獲取連續(xù)4幀不同曝光的圖像。若在模式二條件下，則FPGA不產(chǎn)生控制外部光源光強的信號，而由時序電路控制連續(xù)4幀圖像不同的曝光時間，獲取連續(xù)4幀不同的不同曝光的圖像。\n[0038] 由于成像環(huán)境和內(nèi)部電路的原因，面陣CCD成像過程中，攝取的視頻圖像序列往往存在隨機分布的噪聲，即高斯噪聲，為了能準確的評價每一幀不同曝光圖像的信息參數(shù)，則必須對圖像進行預處理，該步驟是獲取高清圖像的前提。由于頻域濾波是通過濾掉圖像的高頻成份而去掉噪聲，它在去除噪聲的同時也會丟失圖像的細節(jié)信息，使圖像變模糊，另外，頻域變換運算量較大，難于實現(xiàn)實時性?？紤]到圖像濾波的有效性和圖像處理的實時性，本發(fā)明采用空域濾波的均值和中值濾波算法對圖像進行預處理，去除圖像的噪聲。\n[0039] 均值濾波是最常用的一種線性濾波方法，由于線性濾波的不足是在降低噪聲的同時也模糊了整個圖像，特別是圖像的邊緣和細節(jié)，因此直接使用均值濾波不利于高頻信號的保留，本發(fā)明采用一種改進的均值濾波的算法對圖像數(shù)據(jù)進行處理。\n[0040] 一般來說均值濾波是依次對操作像素點鄰域的均值而使圖像模糊，如果我們不取均值而是有條件的保留原來像素點的值，即只有當像素點的值比鄰域均值大于某一閾值時，才取鄰域均值為該點的值，否則該點的值保持不變。那么圖像就不會模糊，同時又能去除噪音。\n[0041] 同樣的，由于中值濾波取其濾波窗口內(nèi)經(jīng)過排序后中間像素的值，而與原來像素點的值沒什么必然聯(lián)系。所以如果圖像中某物體尺寸較小，排序后該物體沒有像素點排在中間，那么濾波后該物體就會被腐蝕甚至消失。所以我們在進行中值濾波操作時先設一個閾值，當只有該點的值與鄰域中值的差大于閾值時才取鄰域的中值，否則就保留該點的值。\n這樣的話，如果是噪聲點，它和鄰域的中值就會相差較大，就可以把它去掉。如果是圖像信息對象，鄰域中還有物體本身的點，所以鄰域的中值和該點的值就不會相差太大，只要設置合適的閾值，就可以保留該點的值。\n[0042] 本發(fā)明所述的圖像融合模塊，主要包括實現(xiàn)以下兩個方面的處理。一是同一視場不同曝光的多幀不同光強的圖像信息分析，二是采用特定算法對圖像進行融合。實現(xiàn)方法是在拉普拉斯金字塔算法的基礎上，提出一種采用圖像梯度和信息熵相結(jié)合的方法來表示圖像質(zhì)量的方法，并以此分配權重，將不同曝光圖像金字塔的各個層根據(jù)權重進行融合，最終利用拉普拉斯金字塔逆算法恢復圖像，以突出了圖像的細節(jié)信息，又盡可能的保留了圖像整體的信息量，提高顯微圖像質(zhì)量。\n[0043] 拉普拉斯金字塔算法實際上是一種類似于帶通濾波的空間域技術。在構造拉普拉斯金子塔前，我們首先要獲得圖像的高斯金子塔，高斯金子塔是將一幅大小為M×N的圖像f進行低通濾波，并隔行采樣(Reduce操作)，得到一幅(M/2)×(N/2)大小的圖像g1。重復這個過程k次，將得到一系列大小逐步減小的低通濾波圖像g0，g1，g2，…，gk，g0～gk便稱之為高斯金字塔。該過程采用數(shù)學公式表示如下：\n[0044] 1≤x≤M，1≤y≤N， (1)\n[0045] 其中，w[m，n]為高斯模板，本發(fā)明采用的模板為：\n[0046] \n[0047] 高斯金子塔的構成可以由下式表示：\n[0048] \n[0049] 獲得了高斯金子塔后，其相鄰兩層圖像的差，便是拉普拉斯圖像。它是通過把gk+1插值(Expand操作)，擴展到與gk相同大小，再用gk相減得到。計算每兩相鄰層間的拉普拉斯圖像，就能得到l0，l1，l2，…，lk(此處lk＝gk)系列，稱之為拉普拉斯金字塔?？捎靡韵聰?shù)學表達式表示：\n[0050] \n[0051] 拉普拉斯金字塔逆算法是拉普拉斯金子塔算法的逆過程，其作用是將各層拉普拉斯圖像重新恢復成一幅圖像。該過程通過把分解得到的各層子圖像插值(用放大算子Expand表示)到原來圖像的大小，再把它們相加，以得到合成圖像：\n[0052] \n[0053] lk，k＝Expand[Expand…[Expand(lk)]] (6)[0054] 其中l(wèi)k，k表示第k層的拉普拉斯金字塔圖像lk插值放大k次的結(jié)果，所以它的大小和原圖像相同。一種簡單的方法是把lk插值到lk-1大小，并把它加到lk-1上，得到新圖像，然后再把新圖像再插值到lk-2大小，加到lk-2上，依此類推，直到第0層。至此，g0就是重構的圖像。其數(shù)學描述為：\n[0055] \n[0056] 由于拉普拉斯金字塔的各層(頂層除外)均可保留和突出了圖像的重要特征信息(如邊緣信息)，這些特征信息被按照不同尺度分別分離在不同分解層上，因此這些重要信息對于圖像的融合有重要意義。\n[0057] 通過拉普拉斯金子塔算法，將各幀不同曝光圖像進行分層，并按信息量的大小分配不同的權重，然后，用拉普拉斯金字塔逆算法將各層圖像合成為一幀高動態(tài)范圍圖像。\n[0058] 一般來說，圖像區(qū)域像素亮度的變化形成了圖像的輪廓，反映了圖像的清晰度，而圖像的梯度恰恰反映了圖像區(qū)域像素亮度的變化，圖像清晰度越高，其圖像梯度值也就越大，因此，圖像梯度反映了圖像細節(jié)的信息。而在圖像的客觀評價中，常使用圖像信息熵來反映圖像所含信息量的多少，它反映了一幅圖像中像素灰度的分布情況，灰度級別越多，灰度越分散，熵就越大。一般來說，灰度分布越分散，圖像所含的信息也就越多?；谏鲜隼碚?，本發(fā)明采用圖像梯度與信息熵相結(jié)合的方法來表示同一場景各幀不同曝光圖像各層次圖像的質(zhì)量，其目的就是使得最終合成的圖像既能提高了圖像的信息量，又能較好地突顯其細節(jié)特征。\n[0059] 本發(fā)明計算圖像梯度采用下式進行描述：\n[0060] ΔIx＝|I(x+1，y)-I(x，y)|+|I(x-1，y)-I(x，y)|\n[0061] (8)\n[0062] ΔIy＝|I(x，y+1)-I(x，y)|+|I(x，y-1)-I(x，y)|\n[0063] 歸一化函數(shù)表示為：\n[0064] P(v)＝v/2Imax (9)\n[0065] 其中，I(x，y)表示(x，y)處的像素值，v表示ΔIx或ΔIy的值，Imax是表示圖像的最大像素值，若圖像為8位位圖，其值為255。我們選取x，y方向像素差最大值作為該像素的梯度值，最終歸一化梯度可表示為：\n[0066] \n[0067] 其中，R代表圖像，rw和rh是圖像R的寬度與高度，xr和yr為起始像素坐標。\n[0068] 而歸一化的圖像信息熵可定義為：\n[0069] \n[0070] 其中，pi表示圖像像素值等于i的概率。最終層次圖像的權重可定義為：\n[0071] \n[0072] 其中，i代表第i幀曝光圖像，k是金字塔的層次，則Ii，k表示為第i幀曝光圖像的第k層金字塔圖像。p是曝光圖像的數(shù)量，而α是調(diào)節(jié)因子，通過它實現(xiàn)圖像信息熵與圖像梯度在權重系數(shù)上的分配比例。根據(jù)(12)式我們可以計算各幀不同曝光圖像金字塔的各層的權重值，根據(jù)權重將不同曝光圖像的相應層進行疊加，形成一個新的拉普拉斯金子塔，合成后拉普拉斯金字塔如下式：\n[0073] \n[0074] 式中，Ik表示合成后金字塔的第k層圖像。最終，通過拉普拉斯金子塔逆算法，我們便能獲得一幅高動態(tài)范圍的圖像。對彩色圖像，在實現(xiàn)過程中可以分別對不同的顏色空間進行處理，最后進行合成，同時針對不同的觀察場景，可對某些顏色進行衰減或增強處理，以增強目標信息。\n[0075] 綜合上述，用于圖像融合的圖像幀，既要考慮其所含的信息量，又要考慮圖像的清晰度，所以采用權重值選取不同幀所對應的層次圖進行最終圖像的融合。\n[0076] 在硬件實現(xiàn)上，采用4組SDRAM構成緩存池結(jié)構，對相同的一組SDRAM，設計訪問控制邏輯單元，如圖2，控制DSP和FPGA的訪問次序和時間，實現(xiàn)FPGA與DSP進行快速交叉訪問。首先FPGA將采集的一幀圖像數(shù)據(jù)讀入一組SDRAM，輸入完畢后，采用中斷方式通知DSP進行處理，同時再把采集的數(shù)據(jù)讀入第二組SDRAM，輸入完畢后，再通知DSP進行處理，依次類推，采用圖像分層寫入與圖像信息分析兩條流水線，實現(xiàn)FPGA與DSP并行工作，提高實時性。在程序運行中，由于采用訪問控制邏輯電路，避免出現(xiàn)競爭冒險，而導致訪問圖像數(shù)據(jù)出錯。\n[0077] 為了保證最后輸出圖像的質(zhì)量，對融合后的圖像可能在亮度上會有較大變化，給人不真實的感覺。為了在最終合成的圖像中得到流暢的效果，用FPGA進行平滑濾波，保證圖像灰度或顏色過度自然、流暢。\n[0078] 本發(fā)明采用同一場景連續(xù)采集四幀不同的曝光的圖像，通過圖像融合算法，實時實現(xiàn)高動態(tài)圖像的輸出，增加觀察檢測場景的細節(jié)特征，滿足特定環(huán)境下對圖像的檢測要求。\n[0079] 在實施過程中，采用下列器材：\n[0080] (1)CCD面陣型號為KAF-9000，主要參數(shù)包括分辨率為3056*3056；像素尺寸為\n12um(H)*12um(V)；線形動態(tài)范圍84dB，最高10MHz像素；可開/關的自動增益控制(AGC)，讀出速率600Kpixel/s，3Mpixel/s，數(shù)字增益倍數(shù)是：1.3e-/ADU到1.5e-/ADU，模數(shù)轉(zhuǎn)換位數(shù)16bit，手動設定的黑白電平衡校正方式；可接受24V AC及12V DC兩種電源供應。\n[0081] (2)FPGA型號為：FPGA采用的是Xilinx公司的XC6SLX16-3 CSG324。有324個引腳，232個可用引腳，2278個slices，每個slice包含4個CLB，每個CLB包含4個6輸入的查找表(LUT)，共36448個6-input LUTs。該FPGA內(nèi)置的硬件資源有32個DSP48A1，兩個MCB(存儲管理塊)及576K的內(nèi)置RAM。\n[0082] (3)TMS320DM6446處理器。同時具有DSP(DM64X)和ARM雙內(nèi)核的SOC(System on Chip)嵌入式處理器。這類處理器既具有ARM9內(nèi)核，可以運行Windows或Linux操作系統(tǒng)，又具有高主頻的DSP內(nèi)核，可以快速運行音視頻編解碼、模式識別等各種復雜視頻處理算法。同時DaVinci處理器還具有功耗低的優(yōu)勢，可以廣泛應用于各種電池供電環(huán)境。\n[0083] (4)專用視頻A/D：采用的是型號為AD9826的圖像信號A/D轉(zhuǎn)換器，有R_G_B 3個輸入通道，精度為16bits，采集最高頻率為15MSPS。\n[0084] (5)靜態(tài)隨機存儲器SRAM，存儲器件采用的是型號為k6r4008v1d的SRAM，存儲大小為512KB，數(shù)據(jù)線寬度為8bit，存取周期是8ns，最大吞吐量為1Gb/s。\n[0085] (6)網(wǎng)絡適配器：本申請數(shù)據(jù)傳輸采用的是88E1111網(wǎng)絡適配器，可以工作于\n1000M模式，數(shù)據(jù)傳輸率是1Gb/s。\n[0086] (7)USB處理芯片：本申請除了以太網(wǎng)之外，還采用USB作為高動態(tài)范圍圖像的輔助傳輸，芯片型號是CY68013A。該芯片可工作于USB2.0的全速和高速模式，最高理論傳輸速度為480Mb/s。\n[0087] 如圖4所示為其實施流程圖，首先上電，啟動系統(tǒng)，DSP和FPGA從FLASH中讀入程序，進行初始化。根據(jù)事先設定的成像模式，連續(xù)生成不同曝光的4幀圖像模擬信息，由FPGA核心控制器控制其專用的A/D進行轉(zhuǎn)換，在圖像快速分層后分別讀入不同四片SRAM。\n同時啟動協(xié)處理器DSP對同一場景4幀不同曝光強度的圖像序列采用改進的均值濾波和改進的中值濾波對圖像進行處理，實現(xiàn)濾除噪聲、強化圖像的細節(jié)特征。然后對分層圖像進行信息分析和相關參數(shù)計算。分別采用梯度算法和信息熵評價層次圖像的質(zhì)量，并構建出圖像評價函數(shù) 用于代表圖像融合權重系數(shù)，參與最終圖像的\n融合。DSP將處理好的圖像數(shù)據(jù)和相關計算參數(shù)載入SRAM，以使FPGA方便讀寫；FPGA根據(jù)預先指定的算法，對圖像數(shù)據(jù)進行融合處理，并對融合后的像素，采用直方圖均衡的方法，對寬范圍的圖像灰度級進行影射處理，使其轉(zhuǎn)換成能在普通顯示器顯示的信息豐富的高清圖像。處理后的圖像數(shù)據(jù)，再加上必要的混合同步，混合削隱信號和像素時鐘等進一步合成數(shù)字視頻信號，并通過TCP/IP協(xié)議由FPGA輸出合成高動態(tài)圖像f(x，y)。