ISP之圖像去噪

噪聲，是Sensor成像過程中無法躲避的“破壞分子”，若不進行恰當處理，不僅會影響圖像的質量，也會影響視覺感知等任務的精確度。因此，ISP中的圖像去噪模塊便應運而生，對圖像的最終質量產生了舉足輕重的影響。

噪聲的來源

Sensor的輸入是光子，輸出的是數字信號，中間經過了光電轉換、電子累積、電壓量化的過程。而在這些過程中，有著各式各樣的因素，這些因素在信號轉換的過程中引入了噪聲。舉例來說，光電轉換中，光子的量子特性會引入泊松噪聲，電壓讀出時，會引入CMOS電路的熱噪聲，電壓量化中，也會引入ADC的量化噪聲。現有的CMOS傳感器無法避免地引入了這些噪聲，因此需要去噪模塊進行抑制。

2DNR

2DNR即空域降噪，不涉及時域信息。傳統的2DNR包含空間域、變換域等一系列方法，可以在ISP pipeline的RAW域、RGB域、YUV域執行，方法與色域的選擇取決于具體的噪聲分布與圖像質量需求。以下列舉幾個在ISP芯片中較為常用的2DNR方法：

NLM

Non-local mean首次提出利用圖像的非局部自相似性進行去噪，其核心思想是利用圖像中的相似塊進行去噪，對每一個輸入像素，在給定的Search Window中執行相似度計算，得到像素權重，最終執行濾波。NLM算法在性能與面積上達到了較好的平衡，因此許多廠商都會選擇使用這一算法及其變種算法。

小波閾值

小波閾值算法隸屬于變換域算法，小波變換是圖像處理中經常采用的方法，選定合適的小波基與分解層數，可以定位到圖像的不同頻段，從而對不同頻段的噪聲進行針對性的處理。由于噪聲主要分布在高頻，小波閾值算法主要是對圖像的高頻分量執行閾值處理。

BM3D

BM3D結合了空間域與變換域算法的優點，分為初始估計與最終估計兩個階段，協同相似塊匹配、3D頻域變換、閾值處理、維納濾波等操作，最終聚合得到去噪圖像。BM3D算法在傳統算法中有著很高的地位，其效果相比前面兩種方法更好，但是由于它的算法復雜度高、硬件實現代價大，因此實際ISP芯片中使用得反而沒有那么多。

3DNR

3DNR在2DNR的基礎上加入了時域信息，結合當前幀與歷史幀的信息進行處理。由于信息量的增加，3DNR算法能夠取得比2DNR算法更好的效果，在一些2DNR難以發揮作用的場景，如暗光場景下，3DNR的重要性更為顯著。此處以一個較為簡單的3DNR算法為例，簡要介紹其原理。3DNR算法涉及運動估計，簡單的，如示意圖中的算法，采用幀差法來判斷像素是否處于運動區域，復雜的，則可以利用光流等信息，來進一步優化3DNR的效果。示意圖中的算法還聯合了噪聲估計，將圖像分區，低噪聲、運動的區域，當前幀權重大，高噪聲、靜止的區域，歷史幀權重大。考慮到3DNR需要與DDR進行交互，對高分辨率的場景而言，會占用很高的DDR帶寬，因此也會考慮對圖像進行壓縮后，再存入DDR。當然，3DNR雖好，但也可能存在運動噪聲、鬼影、拖影等問題，需要結合性能與硬件開銷進行trade off，打磨出最符合需求的算法。

結語

本文介紹了ISP中的圖像去噪模塊，主要聚焦于圖像去噪的傳統算法，包含2DNR、3DNR模塊。由于真實噪聲的信號相關性以及ISP本身引入的非線性，實際往往需要多色域的多個去噪模塊進行聯動配合，才能取得最好的效果。此外，ai算法已經取得了遠勝傳統算法的去噪效果，ISP芯片中也往往會優先考慮將NR模塊ai化，關于圖像去噪的ai算法之后會繼續介紹。