1，ISP圖像信號(hào)處理介紹

ISP(Image Signal Processing) 圖像信號(hào)處理。主要用來(lái)對(duì)前端圖像傳感器輸出信號(hào)處理的單元，以匹配不同廠商的圖象傳感器。相機(jī)用圖像處理器ISP（Image Signal Processor）。被管道化的圖像處理專用引擎可以高速處理圖像信號(hào)。也搭載了為了實(shí)現(xiàn)Auto Exposure / Auto Focus / Auto White Balance評(píng)測(cè)的專用電路。另外，THine開(kāi)發(fā)的減噪等圖像處理模塊，能令各個(gè)CMOS傳感器實(shí)現(xiàn)最高畫(huà)質(zhì)。

2，ISP的目的是什么？

像素對(duì)某些波長(zhǎng)組之間的光很敏感，本質(zhì)上它們是顏色不可知的。獲取彩色圖像的方法是在頂部放置一個(gè)濾鏡（通常是拜耳圖案濾色鏡），然后對(duì)相鄰像素的顏色進(jìn)行插值。8 MP CMOS不會(huì)為每個(gè)像素感應(yīng)紅色，綠色和藍(lán)色，而是為每個(gè)像素感應(yīng)一種顏色，然后ISP根據(jù)其旁邊的顏色猜測(cè)顏色。這就是所謂的去馬賽克，它可能是ISP的主要工作，并且有許多秘密的調(diào)味方法來(lái)計(jì)算此插值圖像。此外，ISP還負(fù)責(zé)其他所有內(nèi)部管理工作，它可以控制相機(jī)系統(tǒng)的自動(dòng)對(duì)焦，曝光和白平衡。最近添加了對(duì)不完善的鏡頭系統(tǒng)（例如，在instagram中添加的不完美鏡頭系統(tǒng)所賦予的漸暈或色差）等鏡頭缺陷的校正，以及HDR重組，降噪，其他濾鏡，臉部校正或臉部校正等功能。對(duì)象檢測(cè)以及色彩空間之間的轉(zhuǎn)換。ISP的功能之間存在差異，但這實(shí)際上是將拜耳數(shù)據(jù)獲取到可行的圖像陣列中的控制器。

3， ISP的處理流程以及算法

如下所示是一個(gè)典型的數(shù)字相機(jī) Pipeline處理流程：

ISP處理算法大致包括：
Bayer、黑電平補(bǔ)償（black level compensation）、鏡頭矯正（lens shading correction）、壞像素矯正（bad pixel correction）、顏色插值（demosaic）、Bayer 噪聲去除、白平衡（AWB）矯正、色彩矯正（color correction）、gamma 矯正、色彩空間轉(zhuǎn)換（RGB 轉(zhuǎn)換為 YUV）、在YUV 色彩空間上彩噪去除與邊緣加強(qiáng)、色彩與對(duì)比度加強(qiáng)，中間還要進(jìn)行自動(dòng)曝光控制，圖像壓縮等。

3.1鏡頭的幾何變形

3.2 鏡頭漸暈

3.3 曝光控制：曝光不足

3.4 Optical Black Clamping

3.5 Image Compression

4 ISP的內(nèi)部組成

如下圖所示，ISP內(nèi)部包含 CPU、SUP IP、IF 等設(shè)備，事實(shí)上，可以認(rèn)為 ISP 是一個(gè) SOC（system of chip），可以運(yùn)行各種算法程序，實(shí)時(shí)處理圖像信號(hào)。

CPU：CPU 即中央處理器，可以運(yùn)行 AF、LSC 等各種圖像處理算法，控制外圍設(shè)備?，F(xiàn)代的 ISP 內(nèi)部的 CPU 一般都是 ARM Cortex-A 系列的，例如 Cortex-A5、Cortex-A7。
SUB IP：SUB IP 是各種功能模塊的通稱，對(duì)圖像進(jìn)行各自專業(yè)的處理。常見(jiàn)的 SUB IP 如 DIS、CSC、VRA 等。
圖像傳輸接口：圖像傳輸接口主要分兩種，并口 ITU 和串口 CSI。CSI 是 MIPI CSI 的簡(jiǎn)稱，鑒于 MIPI CSI 的諸多優(yōu)點(diǎn)，在手機(jī)相機(jī)領(lǐng)域，已經(jīng)廣泛使用 MIPI-CSI 接口傳輸圖像數(shù)據(jù)和各種自定義數(shù)據(jù)。外置 ISP 一般包含 MIPI-CSIS 和 MIPI-CSIM 兩個(gè)接口。內(nèi)置 ISP 一般只需要 MIPI-CSIS 接口。
通用外圍設(shè)備：通用外圍設(shè)備指 I2C、SPI、PWM、UART、WATCHDOG 等。ISP 中包含 I2C 控制器，用于讀取 OTP 信息，控制 VCM 等。對(duì)于外置 ISP，ISP 本身還是 I2C 從設(shè)備。AP 可以通過(guò) I2C 控制 ISP 的工作模式，獲取其工作狀態(tài)等。