ISP图像算法面试准备

ISP图像算法面试准备(1)

---

---

前言

ISP专注于底层图像任务，了解ISP pipeline流程，对图像理解很有帮助

个人理解：对于ISP图像算法的学习，一般需要专注于：

1. 光学成像技术，了解CMOS传感器工作原理；
2. 传统图像处理算法，即数字图像处理相关内容，了解在空域频域如何进行图像运算等；
3. 图像质量评价，能够准确评估图像的清洗度，对比度，色彩准确性等。
4. 现在大多注重由传统方法进阶到深度学习算法，所以了解深度学习相关图像处理算法也是很有必要的。

推荐博文：

60. 数码相机成像时的噪声模型与标定

键盘摄影（七）——深入理解图像信号处理器 ISP

如何深入研究ISP算法？

5分钟理解相机ISP (图像信号处理) -----非常推荐

摄像头与成像】长文详解RAW图的来龙去脉

Understanding ISP Pipeline----非常推荐

食鱼者的博客----非常推荐

键盘摄影（一）——相机成像基本元件

---

一、ISP流程

ISP(Image Signal Processing),图像信号处理器
主要步骤包括:

1. 光线经过lens镜头，投射到sensor上。
2. 光线在sensor上进行光电转换成模拟电信号
3. 模拟电信号通过A/D转换成数字信号
4. 数字信号进入ISP芯片进行一系列处理,包括：Raw域 RGB域 YUV域

光线通过镜头进入相机，CMOS作为传感器，将现实世界的光线转换为电信号，经过信号放大和噪声过滤等基本处理后得到一张照片的原始数据（Raw图),ISP对Raw图进行灰度补偿，色彩插值，平滑处理，色彩校正等，将其转换为可供显示的RGB图像，或者YUV格式，最终将图片压缩成一个彩色的JPEG格式的图像，便于存储和传输。

需要使用ISP模块的原因有两个方面，一个是镜头和Sensor的物理缺陷导致的。
第二是拍摄光线条件多样，镜头和Sensor需要根据环境做适应。

二、重点关注

1. AWB必须在Demosaic之后进行。

在ISP流程中，AWB和Demosaic的顺序是固定的。Demosaic是将Bayer Pattern的原始图像数据转换成RGB全彩色图像的过程，而AWB是在全彩色图像上进行调整，确保“白色”物体在图像中呈现为白色。所以AWB要在Demosaic之后。

2. Gamma矫正通常在CCM之前进行

Gamma矫正：人眼对暗部和亮部的敏感度不同，Gamma矫正可以调整图像的亮度分布，使其更符合人眼的视觉特性。

CCM：在Gamma矫正之后，图像的亮度信息已经得到了正确的处理，此时进行CCM色彩校正可以确保在色彩调整时，不会因为亮度信息的不准确而影响到最终的色彩效果。

三、如何实现ISP参数自动化调试

ISP参数自动化调试通常通过编写自动化测试脚本来实现，具体步骤如下：

1. 实时获取影响ISP算法参数的值（如YUV数值、快门、增益、iris等）作为基准数据。
2. 在一段时间后，再次获取这些参数的值，并与基准数据做比较。
3. 如果参数值发生变化，调用ISP算法接口，截取一帧的数据转换为JPEG格式保存，并记录当前的参数值。
4. 重复上述步骤，持续记录ISP算法的变化和图像质量情况。
5. 根据算法的变化曲线和图像质量情况，对算法进行优化。

四、AE，即自动曝光（Auto Exposure）

相机根据外界光线的强弱自动调整曝光量和增益的一种机制。这一机制能够防止曝光过度或者不足，从而确保图像质量。AE不仅是3A算法的重要组成部分，而且在整个相机调试模块中占有重要地位。

自动曝光的影响因素

自动曝光的主要影响因素包括ISO（感光度）、光圈大小和曝光时间。这些因素的调整都会直接影响到图像的亮度和质量。例如，增加ISO会使图像变亮，但可能会增加噪点；光圈控制着瞬时进光量；而曝光时间则是感光芯片的采样时间，过长或过短都会影响图像质量。

运动曝光表中AE的实现

在运动曝光表中实现AE，通常涉及以下步骤：

1. AE统计模块：这是一个硬件模块，需要强大的运算能力。它负责统计图像的亮度直方图、亮度区域统计值等关键信息，这些信息是后续曝光参数调整的基础。
2. AE算法模块：根据AE统计模块提供的数据，进行实时计算，以确定合适的曝光参数。这些参数包括光圈大小、曝光时间和ISO感光度等。算法的目标是确保图像达到合适的亮度水平，同时避免过度曝光或曝光不足。
3. 曝光标准与计算：通常以“18%中性灰”作为人眼可以接受的标准亮度。AE算法会计算当前帧的亮度与目标亮度的差异，即曝光误差，并根据这个误差来调整曝光参数，使图像亮度逐渐趋近于目标亮度。
4. 实时调整与收敛：AE系统需要能够快速、准确地收敛到合适的曝光参数。这要求AE算法不仅要快速响应光线变化，还要保证收敛过程的平滑性和稳定性。

---

总结

每个模块的具体功能，可以观看ISP Pipeline