本系列主要介紹圖像信號處理器 (ISP, Image Signal Processor) 中各核心算法模塊的設計以及相關的前沿研究，以典型的相機成像系統(tǒng)為基礎，涉及的內(nèi)容包括各類缺陷校正，去馬賽克，去噪，3A算法（自動對焦，自動曝光，自動白平衡），超分，HDR，風格遷移等主題。
本文將分析鏡頭陰影成因，并介紹其矯正方法。
一個攝像頭的光學處理模塊主要包含以下幾部分，分別為鏡頭 (Lens)，紅外截止濾波片 (IR-cut Filter)，圖像傳感器 (Image Sensor) 和印刷電路板。其中，鏡頭、紅外截止濾波片和圖像傳感器是導致鏡頭陰影的主要部分。ISP中有專門的模塊去除鏡頭陰影，該模塊一般稱為鏡頭陰影校正 (Lens Shading Correction, LSC)。
鏡頭陰影簡介及成因
鏡頭陰影 (Lens Shading) 主要分為2種：亮度陰影 (Luma Shading) 和色彩陰影 (Color Shading)。
01 亮度陰影
亮度陰影（光學上稱為漸暈，Vignetting）就是我們常說的暗角，典型表現(xiàn)為圖像中心區(qū)域較亮，四周偏暗，如下圖1所示。
亮度陰影的成因主要有以下兩種：
鏡頭本身的機械結(jié)構(gòu)導致，稱為機械陰影 (Mechanical Shading)。鏡頭的各模塊在制作和組裝的過程中存在一定的工藝誤差，從而影響光線在鏡頭內(nèi)部的傳播。類似于光學中的漸暈現(xiàn)象，如下圖2所示，造成這種陰影的原因主要為遮光罩等機械結(jié)構(gòu)，較大角度進入鏡頭的一些光線被鏡筒遮擋，這些光線進入sensor時的亮度大幅衰減。
圖2
由鏡頭的光學特性引起，也稱為自然陰影（Natural Shading）。對于整個鏡頭，可將其視為一個凸透鏡。由于凸透鏡中心的聚光能力遠大于其邊緣，從而導致Sensor中心的光線強度大于四周。此種現(xiàn)象也稱之為邊緣光照度衰減。表現(xiàn)為圖像中心亮、四周暗。圖像從中心向四周衰減的速率基本符合COSθ4法則。具體公式如下所示，Io表示中心光強，θ表示入射光線與水平軸的夾角。
I = Io* COSθ4
02 色度陰影
色彩陰影表現(xiàn)為圖像中心區(qū)域與四周顏色不一致，即圖像的四周或中心區(qū)域出現(xiàn)偏色，如下圖3所示。
圖3
色彩陰影的成因較為復雜，影響因素較多，以下做簡要介紹。先簡要介紹紅外截止濾波片的特性。紅外截止濾波片位于鏡頭和圖像傳感器之間。主要用于消除投射到Sensor上不必要的光線，防止Sensor產(chǎn)生偽色/波紋，從而提高色彩還原性。由于圖像傳感器上的RGB像素濾波片不能濾除紅外光和紫外光，因此需要使用另外的濾波片進行濾除，否則會導致紅綠藍像素點的亮度值與人眼觀察到的亮度值存在較大的差異。色彩陰影成因主要有以下三點：
紅外截止濾波片（IR-Cut Filter）引入。普通的IR-Cut Filter為干涉型紅外截止濾波片，在可見光區(qū)域有較高的透過率，存在較低反射率，而在紅外區(qū)域正好相反，反射率較高，透過率很低。成角度拍攝照片時，紅外光在IR膜上會有較大反射，經(jīng)過多次反射后，被Sensor接收從而改變圖像R通道的值，引起圖像偏色問題。
鏡頭本身的光學特性（色散現(xiàn)象），如下圖4所示，同一介質(zhì)對不同波長光線的折射率不同，Sensor感受到光的位置會發(fā)生偏差。
圖4
由Sensor上微透鏡的CRA (Chief Ray Angle，主光線角)與Lens的CRA不匹配導致。鏡頭的主光線角與傳感器不匹配，會使傳感器的像素出現(xiàn)在光檢測區(qū)域周圍，致使像素曝光不足，亮度不夠。Lens CRA與Sensor CRA一般相差在3°范圍內(nèi)，Lens CRA大于Sensor CRA時容易出現(xiàn)色彩陰影。
Lens CRA：從鏡頭的傳感器一側(cè)，可以聚焦到像素上的光線的最大角度。
Sensor CRA：Sensor上微透鏡在保證像素感光效能為中心80%的前提下，能糾正的最大光路角度。
鏡頭陰影矯正方法介紹
鏡頭陰影校正的過程如下圖所示。可以看到由于鏡頭陰影的影響，圖像亮度從中心向四周衰減，因此可以擬合一條校正曲線，根據(jù)像素點在曲線所處位置，從校正曲線上獲得增益值，對像素點進行校正。
圖5
常用的鏡頭陰影校正方法有三種，下面簡要介紹。
鏡頭陰影從圖像中心到四周越來越嚴重，且基本是呈現(xiàn)中心對稱的，根據(jù)鏡頭陰影的這個特點，提出了一種鏡頭陰影校正方法，即根據(jù)各像素點與圖像中心的距離R計算出一個校正系數(shù)。如下圖所示，該方法簡單、復雜度低、占用內(nèi)存少，但是鏡頭裝配過程復雜，不存在這種完全對稱的情況，因此，該方法鏡頭陰影校正的效果一般欠佳，不具有實際應用價值。
圖6
鏡頭陰影的漸變曲率從中心到邊緣逐漸增大，增益曲線表現(xiàn)為中心疏，邊緣密。因此將圖像劃分成中間疏、四周密的網(wǎng)格，每個塊內(nèi)有不同的增益。位于每個塊內(nèi)的像素點認為具有相同的增益值有相同的增益。網(wǎng)格法如下圖6所示，該方法能適應不同的鏡頭模組，陰影校正效果較好。
圖7
網(wǎng)格法雖然適應性較好，但是每塊網(wǎng)格內(nèi)具有相同的增益值，陰影校正的精度較差。在網(wǎng)格法的基礎上做出了改進，引入了插值的思想。將圖像等分成塊，測出塊四個頂點的增益值，落在塊內(nèi)部像素點的增益值根據(jù)四個頂點的增益值插值得出。改進的網(wǎng)格法如下圖所示，可以適應非對稱的模組情況，對陰影的校正效果更好，精度更高，缺點主要為計算量大、所占內(nèi)存多。
圖8
亮度陰影主要受鏡頭光路影響，色溫對亮度陰影的影響較小；色彩陰影受色溫的影響較大，不同色溫光譜，陰影不同，因此可以標定多色溫下不同的校正值。
參考資料：
[1] https://blog.csdn.net/qq_36317888/article/details/114933188
[2] https://www.image-engineering.de/
library/image-quality/factors/1073-shading
[3] https://blog.csdn.net/yxyx13120297/
article/details/85206426?spm=1001.2014.3001.5501
[4] https://zhuanlan.zhihu.com/p/14468
9473?utm_source=wechat_timeline
