广西宏泰成建设集团网站,做网站app需要懂些什么软件,阿里云部署网站教程,临淄网站建设yx718文章目录 1、图像传感器基础1.1 基础原理——光电效应1.2 基础的图像传感器设计1.3 衡量传感器效率的一个关键指标#xff1a;光量子效率#xff08;QE#xff09;1.4 感光单元的响应1.5 像素的满阱容量1.6 像素尺寸和填充比例1.7 微透镜的作用1.8 光学低通滤波器简介1.9 传… 文章目录 1、图像传感器基础1.1 基础原理——光电效应1.2 基础的图像传感器设计1.3 衡量传感器效率的一个关键指标光量子效率QE1.4 感光单元的响应1.5 像素的满阱容量1.6 像素尺寸和填充比例1.7 微透镜的作用1.8 光学低通滤波器简介1.9 传感器尺寸1.10 模拟前端1.11 Vignetting——渐晕1.12 图像传感器的作用流程小结 2、颜色基础2.1 颜色是人类感知的产物2.2 光谱功率分布 (Spectral Power Distribution - SPD)2.3 光谱灵敏度函数 (Spectral Sensitivity Function - SSF)2.4 人眼的光谱灵敏度函数2.5 颜色滤波阵列 - Color filter arrays (CFA)2.6 每种相机有不同的光谱灵敏度函数2.7 思考你能想到其他捕捉颜色的方法吗2.8 图像传感器的作用流程小结 3、相机内的图像处理(ISP)3.1 相机内图像处理的流程3.2 白平衡基础3.3 去马赛克3.4 去噪3.5 如何去除噪声3.6 色调重建 4、相机内图像处理小结4.1 我们真的需要RAW格式图像吗4.2 如何方便的获取RAW格式图像4.3 有很多开源系统在改变这一情况4.4 总结 数码摄影的基础流程 1、图像传感器基础
现代数字图像传感器已经非常复杂涉及到半导体等知识所以我们在本课中只能涉及基础 什么是数字图像传感器? 下图中的“桶”就是像素阵列 整个拍照过程如下快门打开曝光开始由像素阵列桶持续接收这些光子直到曝光结束曝光结束后传感器将这些光子转换为数字信号
1.1 基础原理——光电效应 1.2 基础的图像传感器设计
术语“感光器件(photosite)”可以用于指代整个像素也可以仅指感光区域。 1.3 衡量传感器效率的一个关键指标光量子效率QE 1.4 感光单元的响应
感光单元的响应几乎是线性的
当势阱饱和时会产生非线性的响应 (过曝)当接近0时也产生非线性响应 (因为噪声的原因) 我们可以通过HDR成像来解决这种问题 1.5 像素的满阱容量 满阱容量在饱和前势阱容纳的电子的数量是成像传感器的另外一个重要的性能指标满阱容量并不是越大越好因为满阱容量越大则需要的像素尺寸也越大满阱容量越大则能提高信噪比和动态范围更广的亮度范围动态范围是指一幅图像的传感器能同时捕获并显示最暗和最亮的能力 1.6 像素尺寸和填充比例 1.7 微透镜的作用 将光线汇聚到感光像素区域来帮助感光器件收集更多的光线提升有效填充因子通过实现像素大小的2D Box滤波器对图像进行空间低通滤波以防止混叠伪影有时还会在传感器前面放置一个附加的光学低通滤波器OLPF以改进前置滤波效果 如下右图下面的图像传感器中的微透镜和感光器件有一个斜移是为了使光线更好地被感光器件接收 什么是混叠伪影如下右图灰色衬衫上的波纹又叫摩尔纹就是混叠伪影 混叠伪影的原因 图像传感器不足以处理高频信息
有2种方法可以防止混叠伪影 1、通过实现像素大小的2D Box滤波器对图像进行空间低通滤波以防止混叠伪影 2、有时还会在传感器前面放置一个附加的光学低通滤波器OLPF以改进前置滤波效果 更多参考了解什么叫混叠伪影5. 数码相机内的图像处理-图像采样与金字塔
1.8 光学低通滤波器简介 在许多传感器前面通常会有一块作为OLPF的玻璃片也被称为光学抗混叠滤波器 OLPF通常由两层双折射材料和红外滤波器组成。光线具有不同的振动方向进入如下图左一的晶体后就会分成不同的方向振动方向不同进行传播所以会造成字的重影 然而OLPF意味着降低分辨率因为高频信号被滤除了随着现在像素数量变大OLPF变得不再是必要的。所以摄影师经常破解他们的相机来移除OLPF以避免分辨率的损失也有相机制造商提供带和不带OLPF的相机版本同时OLPF在处理相干光杂散条纹时也可能存在问题 需要用到OLPF的场景 不必要用OLPF的场景 1.9 传感器尺寸 两种主要的图像传感器现在主要使用CMOSCCD逐渐退出历史舞台 两类传感器的伪影现象 传感器泛光是一个像素在图像传感器上接收过多的光子导致的也会溢出到相邻的像素里面去涂抹伪影发生在CCD中因为CCD是逐行读取速度相对较慢对于移动的物体或快速变化的光线就会在图像中留下“痕迹” CCD和CMOS的更多区别 CMOS传感器简图 1.10 模拟前端 1.11 Vignetting——渐晕
远离中心的像素接收到的光较少 四种渐晕产生的原因: • 机械原因: 光线被遮光罩、过滤器和其他物体阻挡 • 镜头原因类似但光线被镜头元件阻挡 • 自然原因由于辐射定律“余弦四次衰减”。 • 像素原因感光元件的角度相关灵敏度。 1.12 图像传感器的作用流程小结
当相机快门打开时传感器
在每个像素将入射光子转换为电子在未饱和时将电子存储到光点的势阱中
直到相机快门关闭。 然后模拟前端
逐行读出感光点的电子并将其转换为模拟信号对这些模拟信号应用可能不均匀增益将它们转换为数字信号纠正非线性最后返回图像。
2、颜色基础
2.1 颜色是人类感知的产物
“颜色”不是光电磁辐射的客观物理属性波长才是 2.2 光谱功率分布 (Spectral Power Distribution - SPD)
大多数类型的光由多种波长的光组成我们可以根据不同波长上的功率分布来描述光 2.3 光谱灵敏度函数 (Spectral Sensitivity Function - SSF) 任何光传感器数字或非数字对不同波长都有不同的灵敏度。这是通过传感器的光谱灵敏度函数来描述的()当测量某个 SPD为()的光时传感器会产生标量响应 2.4 人眼的光谱灵敏度函数 人眼包含所谓视锥细胞的光传感器的集合有三类具有不同光谱灵敏度的细胞人类的颜色感知是三维的三原色 2.5 颜色滤波阵列 - Color filter arrays (CFA) CFA使得数字图像传感器可以模仿人类视觉系统的视锥细胞来感知颜色不同颜色的滤波器有不同的光谱灵敏度函数模拟不同的视锥细胞 CFA的两种设计考虑 对每种颜色滤波器采用什么样的光谱灵敏度函数f(λ)如何在空间中排布不同的颜色滤波器(Mosaic – 马赛克) 不同的CFA马赛克排布 2.6 每种相机有不同的光谱灵敏度函数 每台相机或多或少都有其独特的SSF而且大多数时候被相机厂商保密这使得正确再现传感器测量的颜色变得非常困难 2.7 思考你能想到其他捕捉颜色的方法吗 2.8 图像传感器的作用流程小结 3、相机内的图像处理(ISP)
3.1 相机内图像处理的流程 相机图像信号处理器 (Image Signal Processor - ISP) 应用一系列图像处理操作将 RAW 图像转换为“传统”图像。 3.2 白平衡基础 人类视觉系统具有色度适应性(chromatic adaptation): 在不同的光源下我们可以正确地感知白色和其他颜色但相机不行——相机是没有感知 如下图中的下图虽然在这个光源下我们看到的颜色和在上图看到的颜色是一致的 白平衡让我们感知到的白色在最终的图像中也渲染为白色的方法 相机预置的白平衡设置 如今的相机有大量的预设白平衡设置你可以选择在哪种光线下拍摄图像并应用相应白平衡 摄影时的手动和自动白平衡 手动白平衡 根据照明情况选择相机上的白平衡设置手动选择照片中颜色中性的对象并使用它进行对图像的颜色进行归一化 自动白平衡 灰色世界假设强制场景的平均颜色为灰色白色世界假设强制场景中最亮的物体为白色复杂的基于直方图的算法大多数现代相机都是这样做的 灰色世界假设 计算每个通道的平均值通过平均值对每个通道进行规格化通过绿色通道平均值进行归一化 白世界假设 计算每个通道的最大值按每个通道的最大值规格化每个通道按绿色通道最大值规格化 自动白平衡示例 3.3 去马赛克 相机图像信号处理器 (Image Signal Processor - ISP) 应用一系列图像处理操作将 RAW 图像转换为“传统”图像。 CFA颜色滤波阵列去马赛克 从马赛克传感器输出中生成完整的RGB图像需要借助邻域插值 双线性插值去马赛克: 双线性插值只需求4个邻域像素的平均值。 不同通道的邻域不一致, 3.4 去噪 相机图像信号处理器 (Image Signal Processor - ISP) 应用一系列图像处理操作将 RAW 图像转换为“传统”图像 图像中的噪声 在低光照下噪声特别明显也就是势阱未装满光子 几种传感器的噪声 1 散粒噪声光子到达率是一个随机过程泊松分布场景越亮分布的方差就越大。 2 暗噪声由于热活动而发射的电子随着传感器越来越热而变得更糟 3 读取噪声由电子设备例如增益、A/D转换器引起。 在明亮的场景和以及大像素传感器散粒噪声是主要的噪声源 参考资料 https://zhuanlan.zhihu.com/p/397873289
3.5 如何去除噪声 邻域插值与去马赛克类似 3.6 色调重建 人眼感知亮度与测量亮度是有区别的下图中“视网膜颜色”是眼睛感知到的颜色“感知颜色”是大脑处理后的颜色 我们已经看到传感器响应是线性的人眼的响应也是线性的测量亮度然而视觉感知也就是大脑感知亮度是非线性的我们对深色调更敏感近似一个 γ \gamma γ 函数下图中Eyes实际上是大脑感知的颜色 Gamma编码: 色调重建也可以是Gamma编码的过程我们的目标是使用少量的比特位来压缩编码图像的亮度信息比如从12位压缩到8位应用非线性曲线可以更好地编码人类视觉更敏感的信息, 下图中横坐标是实际亮度纵坐标是感知到的亮度 Gamma编码 vs 线性编码 —— 一个简化的例子 使用线性编码5比特32阶会把人眼就能区分的亮度差异变成一个亮度也会把人眼看不出明显差别的亮度变成有亮度差异所以线性编码有较大的缺点而采用Gamma编码会在感知上更加平滑 色调重建流程 通过Gamma编码和Gamma校正得到的净效应还是线性曲线 真实场景是线性的经过人的大脑对线性场景的非线性响应最终感知到的图就是下图左一经过相机Gamma编码人眼看到的图片就是下图左二相机Gamma编码后再经过Gamma校正就得到显示器正常显示的图像如下图右一 如果没有Gamma编码会如何 Gamma编码的历史缘故 CRT显示器过去的响应曲线几乎完全等于人类灵敏度曲线的倒数。因此CRT显示器可以跳过Gamma校正并直接显示Gamma编码的图像反过来说以前在CRT显示器时代我们执行Gamma编码的一个重要目的是抵消显示器的响应曲线。但在液晶显示器时代就不是了——我们现在依旧执行Gamma编码的原因就是确保最终图像的8个比特在感知上更加均匀 Gamma编码曲线 确切的gamma编码曲线取决于相机制造厂商的设定 可以近似的用Lγ描述而不同设定的γ值不同比较好的默认值是 γ 1 / 2.2 \gamma1/2.2 γ1/2.2 重要Gamma编码后亮度值和场景的辐照度之间不再是线性关系 4、相机内图像处理小结 相机图像信号处理器 (Image Signal Processor - ISP) 应用一系列图像处理操作将 RAW 图像转换为“传统”图像 4.1 我们真的需要RAW格式图像吗 是的 每次使用基于物理的计算机视觉算法时都需要对辐射进行线性测量。 例如光度立体、从阴影到形状、基于图像的重新照明、照明估计、与光传输和反向渲染有关的任何事情等。将算法应用于非线性即非RAW图像将产生完全无效的结果。 即便不研究计算机视觉算法摄影师们也喜欢在RAW格式上进行图像编辑 存储和处理RAW格式图像的负担 图像巨大对存储空间占用很大不管是相机还是电脑都需要大量的存储空间相机本身的处理负担加大特别是在快速连拍模式 4.2 如何方便的获取RAW格式图像 大多数专业相机、甚至卡片相机都提供存储RAW格式图像的选项一些高端的手机例如Iphone也提供了存储RAW格式图像的选项 如果拍摄前未设置存储为RAW格式有办法通过RGB格式逆向得到RAW图像吗 很不幸你无法简单逆向得到RAW图像图像处理管道是有损的在所有步骤之后关于原始图像的信息都会丢失。除非如果我们确切地知道相机流程中各个组件的作用例如通过使用来自其他类似RAW图像的信息我们才有可能反转相机的部分图像处理流程。将PNG/JPG转换回RAW被称为“逆渲染(Derendering)”这是一个活跃的研究领域。 逆渲染-Derendering 如下图RAW是最大的几何体颜色空间而jpg是最大几何体里面的小的几何体所以想从jpg还原RAW是较困难的 我们讲述的相机内图像处理的流程是一个猜测的公有流程 相机图像信号处理器 (Image Signal Processor - ISP) 应用一系列图像处理操作将 RAW 图像转换为“传统”图像。 实际的ISP流程可能非常复杂, 我们所讲的模拟前端也是一个通用而假设的流程实际传感器复杂得多 Gamma编码曲线也因相机的不同而有很大变化 这些情况都使得严肃的研究非常困难在管道的中间阶段很难获得真实数据很难评估新算法对特定管道阶段的效果 4.3 有很多开源系统在改变这一情况 FrankencameraAndroid Camera2 APIhttps://github.com/cruxopen/openISP 4.4 总结 照片中的像素值和相机传感器输出的值是两个非常不同的东西两者之间的关系是复杂而未知的 参考资料 基础阅读资料 Szeliski, Computer Vision: Algorithms and Applications, Section 2.3. https://szeliski.org/Book/Michael Brown, “Understanding the In-Camera Image Processing Pipeline for Computer Vision,” CVPR 2016, slides available at: http://www.comp.nus.edu.sg/~brown/CVPR2016_Brown.html 进一步阅读资料: Adams et al., “The Frankencamera: An Experimental Platform for Computational Photography,” SIGGRAPH 2010. 第一个图像处理管道的开放架构也是Android Camera API的先驱.Heide et al., “FlexISP: A Flexible Camera Image Processing Framework,” SIGGRAPH Asia 2014. 讨论如何实现单阶段图像处理管道.Buckler et al., “Reconfiguring the Imaging Pipeline for Computer Vision,” ICCV 2017.Diamond et al., “Dirty Pixels: Optimizing Image Classification Architectures for Raw Sensor Data,” arXiv 2017. 这两篇论文都讨论了如何自适应地改变传统的图像处理流程使其更好地适应各种计算机视觉问题.Chakrabarti et al., “Rethinking Color Cameras,” ICCP 2014. 讨论不同的 CFA包括具有白色滤镜的 CFA以及如何对其进行去马赛克. -Gunturk et al., “Demosaicking: Color Filter Array Interpolation,” IEEE Signal Processing Magazine 2005 对去马赛克算法的精彩回顾.Kim et al., “A New In-Camera Imaging Model for Color Computer Vision and Its Application,” PAMI 2012.Chakrabarti et al., “Probabilistic Derendering of Camera Tone-mapped Images,” PAMI 2014. 两篇论文详细讨论了如何建模和校准图像处理管道、如何渲染已经通过管道的图像以及如何在不同相机的管道下重新渲染图像
