国产偷国产偷亚洲高清人白洁,国产精品黄色,久久久精品国产免费观看同学

圖像信號(hào)處理芯片設(shè)計(jì)原理----01 概論

圖像信號(hào)處理芯片設(shè)計(jì)原理----01 概論

本系列主要介紹圖像信號(hào)處理器 (ISP, Image Signal Processor) 中各核心算法模塊的設(shè)計(jì)以及相關(guān)的前沿研究，以典型的相機(jī)成像系統(tǒng)為基礎(chǔ)，涉及的內(nèi)容包括各類缺陷校正，去馬賽克，去噪，3A算法（自動(dòng)對(duì)焦，自動(dòng)曝光，自動(dòng)白平衡），超分，HDR，風(fēng)格遷移等主題。

本文為概論部分，將簡(jiǎn)要介紹圖像信號(hào)處理器的基礎(chǔ)知識(shí)，分為數(shù)字圖像處理背景，相機(jī)成像系統(tǒng)兩個(gè)方面。

數(shù)字圖像處理背景

數(shù)字圖像：一幅圖像可以由一個(gè)二維函數(shù)表示（如下圖[1]），其中是空間（平面）坐標(biāo)，空間坐標(biāo)對(duì)處的幅值稱為圖像在該點(diǎn)的強(qiáng)度或灰度。當(dāng)用有限的離散數(shù)值表示時(shí)，就稱該圖像為數(shù)字圖像，空間位置的最小單位稱為像素，這種數(shù)據(jù)格式就可以交由通用計(jì)算機(jī)或?qū)Ｓ脭?shù)字電路進(jìn)行存儲(chǔ)和處理。

圖[1]

數(shù)字圖像處理是對(duì)數(shù)字圖像進(jìn)行去噪、銳化、增強(qiáng)、復(fù)原、分割等操作，使得數(shù)字圖像更有助于人類理解或者進(jìn)一步處理等。數(shù)字圖像處理經(jīng)久不衰的主要原因在于：隨著信息時(shí)代的高速發(fā)展，視覺作為人類最高級(jí)別的感知，以圖像視頻作為信息載體可以創(chuàng)造出豐富多彩的應(yīng)用；同時(shí)理論知識(shí)的不斷更新，為數(shù)字圖像處理奠定了扎實(shí)的數(shù)理基礎(chǔ)，使得數(shù)字圖像處理廣泛的應(yīng)用在醫(yī)學(xué)、農(nóng)學(xué)、航天學(xué)、軍事、工業(yè)等各個(gè)領(lǐng)域。

相機(jī)成像系統(tǒng)

相機(jī)是最典型的數(shù)字成像系統(tǒng)，基本任務(wù)是要原始記錄和美化我們所看到的世界，因此它的設(shè)計(jì)參考了我們?nèi)祟惖囊曈X系統(tǒng)。

對(duì)人類視覺系統(tǒng)特性的研究，深刻影響了數(shù)字圖像標(biāo)準(zhǔn)及其處理發(fā)展。比如，因?yàn)槿搜塾腥N感應(yīng)顏色的錐狀體細(xì)胞，形成的是三色視覺系統(tǒng)。基于此，想要模擬出人眼所能感知的顏色，只需要精心選擇3種單色光來刺激錐狀體細(xì)胞，這就是經(jīng)典的三色加法模型。最終選擇的三色便我們熟知的光學(xué)三原色：紅，綠，藍(lán)。再比如，人類視覺系統(tǒng)能夠在各種不同的光照條件下識(shí)別物體的顏色，這種自動(dòng)排除光源影響的能力稱為色彩恒常性 (Color Constancy)，這一特點(diǎn)對(duì)應(yīng)著ISP中的白平衡模塊；參考人類視覺系統(tǒng)對(duì)亮度和色度不同的空間分辨能力，指導(dǎo)了去噪，銳化等算法的設(shè)計(jì)。

由下圖可以看到，經(jīng)典的相機(jī)系統(tǒng)結(jié)構(gòu)是充分參考人類視覺系統(tǒng)來設(shè)計(jì)的。

下圖[2]展示了一個(gè)標(biāo)準(zhǔn)的相機(jī)系統(tǒng)結(jié)構(gòu)。它通常包含相機(jī)鏡頭模組 (LENS) /光學(xué)系統(tǒng)，圖像傳感器 (Sensor)，圖像信號(hào)處理器 (ISP) 以及配套的軟件工具，如圖像質(zhì)量調(diào)優(yōu)工具 (PQ Tools)。

圖[2]

在相機(jī)中，鏡頭模組 (LENS) 構(gòu)成了光學(xué)系統(tǒng)，作為相機(jī)系統(tǒng)的信號(hào)采集端，鏡頭的品質(zhì)不僅顯著影響成像質(zhì)量，而且直接影響后續(xù)模塊的處理性能，比如進(jìn)光量，視場(chǎng)（視野范圍），圖像清晰度等。

圖像傳感器 (Sensor) 完成從光信號(hào)到電信號(hào)的光電轉(zhuǎn)換，光的強(qiáng)弱影響著傳感器每個(gè)感光單元電荷的分布，電荷的分布變化又影響著電流的強(qiáng)弱（光越強(qiáng)，電流越大），之后再根據(jù)電流強(qiáng)弱轉(zhuǎn)換為對(duì)應(yīng)的數(shù)字圖像信號(hào)。而要得到場(chǎng)景的色彩信息，還需要在傳感器上增加一層色彩濾波陣列 (CFA, Color Filter Array)，讓傳感器上每個(gè)感光單元僅得到一種顏色光的信息。

經(jīng)過這樣的設(shè)計(jì)，傳感器采集到的圖像就是RAW圖像（如下圖[3]），即圖像每個(gè)像素位置僅有一種色彩信息。要恢復(fù)真實(shí)場(chǎng)景中的色彩，就是圖像信號(hào)處理器 (ISP) 中的去馬賽克模塊的任務(wù)了。

圖[3]

圖像信號(hào)處理器 (ISP) 會(huì)對(duì)傳感器輸出的圖像信號(hào)進(jìn)行優(yōu)化處理以及對(duì)相機(jī)系統(tǒng)的調(diào)節(jié)，因此，ISP會(huì)設(shè)計(jì)出多個(gè)功能模塊去控制各種影響圖像質(zhì)量的關(guān)鍵因素，如清晰度，噪聲，色彩，運(yùn)動(dòng)，動(dòng)態(tài)范圍等，主要的功能模塊包括自動(dòng)對(duì)焦、自動(dòng)白平衡、自動(dòng)曝光、壞點(diǎn)去除、鏡頭陰影矯正、去馬賽克、顏色矯正、伽馬矯正、邊緣增強(qiáng)與降噪處理等，同時(shí)承擔(dān)著圖像數(shù)據(jù)的壓縮和存儲(chǔ)任務(wù)。

下圖展示了我們所設(shè)計(jì)的一款開源ISP的簡(jiǎn)化版流水線結(jié)構(gòu)，其中各個(gè)算法模塊將在本系列后續(xù)文章中展開介紹。