生物科技网站建设 中企动力北京,信产部网站备案,aspnet网站开发实例项目,wordpress 添加下载页面色彩篇#xff08;一#xff09;
1 前言 做为拍照手机的核心模块之一#xff0c;camera sensor效果的调整#xff0c;涉及到众多的参数#xff0c;如果对基本的光学原理及sensor软/硬件对图像处理的原理能有深入的理解和把握的话#xff0c;对我们的工作将会起…色彩篇一
1 前言
做为拍照手机的核心模块之一camera sensor效果的调整涉及到众多的参数如果对基本的光学原理及sensor软/硬件对图像处理的原理能有深入的理解和把握的话对我们的工作将会起到事半功倍的效果。否则缺乏了理论的指导只能是凭感觉和经验去碰往往无法准确的把握问题的关键不能掌握sensor调试的核心技术无法根本的解决问题。 所以这里笔者结合自己出于对摄影的爱好所学习的一些图像处理相关的原理试图通过分析一些与Sensor图像处理相关的因素和大家分享一下自己的一些理解共同探讨共同学习进步。 2 色彩感应及校正 2.1 原理 人眼对色彩的识别是基于人眼对光线存在三种不同的感应单元不同的感应单元对不同波段的光有不同的响应曲线的原理通过大脑的合成得到色彩的感知。 一般来说我们可以通俗的用RGB三基色的概念来理解颜色的分解和合成。 理论上如果人眼和sensor对光谱的色光的响应在光谱上的体现如下的话基本上对三色光的响应相互之间不会发生影响没有所谓的交叉效应。 但是实际情况并没有如此理想下图表示了人眼的三色感应系统对光谱的响应情况。可见RGB的响应并不是完全独立的。 下图则表示了某Kodak相机光谱的响应。可见其与人眼的响应曲线有较大的区别。 2.2 对sensor的色彩感应的校正 既然我们已经看到sensor对光谱的响应在RGB各分量上与人眼对光谱的响应通常是有偏差的当然就需要对其进行校正。不光是在交叉效应上同样对色彩各分量的响应强度也需要校正。通常的做法是通过一个色彩校正矩阵对颜色进行一次校正。 1
该色彩校正的运算通常是由sensor模块集成或后端的ISP完成软件通过修改相关寄存器得到正确的校正结果。值得注意的一点是由于RGB - YUV的转换也是通过一个3*3的变换矩阵来实现的所以有时候这两个矩阵在ISP处理的过程中会合并在一起通过一次矩阵运算操作完成色彩的校正和颜色空间的转换。 3 颜色空间 3.1 分类 实际上颜色的描述是非常复杂的比如RGB三基色加光系统就不能涵盖所有可能的颜色出于各种色彩表达以及色彩变换和软硬件应用的需求存在各种各样的颜色模型及色彩空间的表达方式。这些颜色模型根据不同的划分标准可以按不同的原则划分为不同的类别。 匹配任意可见光所需的三原色光比例曲线 对于sensor来说我们经常接触到的色彩空间的概念主要是RGB , YUV这两种实际上这两种体系包含了许多种不同的颜色表达方式和模型如sRGB, Adobe RGB, YUV422, YUV420 …, RGB如前所述就是按三基色加光系统的原理来描述颜色而YUV则是按照 亮度色差的原理来描述颜色。 3.1.1 RGB - YUV的转换 不比其它颜色空间的转换有一个标准的转换公式因为YUV在很大程度上是与硬件相关的所以RGB与YUV的转换公式通常会多个版本略有不同。 常见的公式如下 Y0.30R0.59G0.11B U0.493(B Y) 0.15R 0.29G 0.44B V0.877(R Y) 0.62R 0.52G 0.10B 但是这样获得的YUV值存在着负值以及取值范围上下限之差不为255等等问题不利于计算机处理所以根据不同的理解和需求通常在软件处理中会用到各种不同的变形的公式这里就不列举了。 体现在Sensor上我们也会发现有些Sensor可以设置YUV的输出取值范围。原因就在于此。 从公式中我们关键要理解的一点是UV 信号实际上就是蓝色差信号和红色差信号进而言之实际上一定程度上间接的代表了蓝色和红色的强度理解这一点对于我们理解各种颜色变换处理的过程会有很大的帮助。 色彩篇二 1.1 白平衡 1.1.1 色温 色温的定义将黑体从绝对零度开始加温温度每升高一度称为1开氏度(用字母K来表示)当温度升高到一定程度时候黑体便辐射出可见光其光谱成份以及给人的感觉也会着温度的不断升高发生相应的变化。于是就把黑体辐射一定色光的温度定为发射相同色光光源的色温。 常见光源色温 光源 色温K 钨丝灯白炽灯 2500-3200k 碳棒灯 4000-5500k 荧光灯日光灯节能灯 4500-6500k 氙灯 5600 k 炭精灯 55006500k 日光平均 5400k 有云天气下的日光 6500-7000k 阴天日光 12000-18000k 随着色温的升高光源的颜色由暖色向冷色过渡光源中的能量分布也由红光端向蓝光端偏移。 值得注意的是实际光源的光谱分布各不相同而色温只是代表了能量的偏重程度并不反映具体的光谱分布所以即使相同色温的光源也可能引起不同的色彩反应。 人眼及大脑对色温有一定的生理和心理的自适应性所以看到的颜色受色温偏移的影响较小而camera的sersor没有这种能力所以拍出来的照片不经过白平衡处理的话和人眼看到的颜色会有较大的偏差虽然人眼看到的和白光下真实的色彩也有偏差。 太阳光色温随天气和时间变化的原因与不同频率光的折射率有关 波长长的光线折射率小透射能力强波长短的光线折射率大容易被散射折射率低这也就是为什么交通灯用红色防雾灯通常是黄色天空为什么是蓝色的等等现象的原因。 知道了这一点太阳光色温变化的规律和原因也就可以理解和分析了留给大家自己思考。 1.1.1 色温变化时的色彩校正 所以从理论上可以看出随着色温的升高要对色温进行较正否则物体在这样的光线条件下所表现出来的颜色就会偏离其正常的颜色因此需要降低sensor对红色的增益增加sersor对蓝光的增益。同时在调整参数时一定程度上要考虑到整体亮度的要保持大致的不变即以YUV来衡量时Y值要基本保持不变理论上认为可以参考RGB-YUV变换公式中RGB三分量对Y值的贡献从而确定RGAIN和BGAIN的变化的比例关系。但实际情况比这还要复杂一些要考虑到不同sensor对R,B的感光的交叉影响和非线性所以最佳值可能和理论值会有一些偏差。 1.1.2 自动白平衡原理 1.1.2.1 原理 自动白平衡是基于假设场景的色彩的平均值落在一个特定的范围内如果测量得到结果偏离该范围则调整对应参数校正直到其均值落入指定范围。该处理过程可能基于YUV空间也可能基于RGB空间来进行。对于Sensor来说通常的处理方式是通过校正R/B增益使得UV值落在一个指定的范围内。从而实现自动白平衡。 1.1.2.2 特殊情况的处理 在自动白平衡中容易遇到的问题是如果拍摄的场景排除光线色温的影响其本身颜色就是偏离平均颜色值的比如大面积的偏向某种颜色的图案如草地红旗蓝天等等这时候强制白平衡将其平均颜色调整到灰色附近图像颜色就会严重失真。 因此通常的做法是在处理自动白平衡时除了做为目标结果的预期颜色范围外另外再设置一对源图像的颜色范围阙值如果未经处理的图像其颜色均值超出了该阙值的话根本就不对其做自动白平衡处理。由此保证了上述特殊情况的正确处理。 可见这两对阙值的确定对于自动白平衡的效果起着关键性的作用。 1.1.3 某平台的例子 英文代码 中文界面 色温 色温 RGAIN, GGAIN, BGAIN cloud 阴天 7500k 0x1D4C, 0x00CD, 0x0085, 0x0080 daylight 日光 6500k 0x1964, 0x00A3, 0x0080, 0x0088 INCANDESCENCE 白热光 5000k 0x1388, 0x00A5, 0x0080, 0x0088 FLUORESCENT 日光灯 4400k 0x1130, 0x0098, 0x0080, 0x00A8 TUNGSTEN 钨丝灯 2800k 0x0AF0, 0x0080, 0x0081, 0x00A4 可以看到随着色温的升高其变化规律基本符合上节中的理论分析。不过这里多数参数与理论值都有一些偏差其中日光灯的色温参数设置与理论值有较大的偏差实际效果也证明该日光灯的参数设置使得在家用日光灯环境下拍摄得到的照片颜色偏蓝。修改其参数后实拍效果明显改善。再查一些资料可以看到通常会有两种荧光灯色温 4000 和 5000K目前我所接触到的应该是5000K居多 1.1.4 调试和验证 具体参数的调整应该在灯箱环境下使用各种已知色温的标准光源对标准色卡拍摄在Pc机上由取色工具测量得到其与标准色板的RGB分量上的色彩偏差相应的调整各分量增益的比例关系。为了更精确的得到结果曝光量增益的设置在此之前应该相对准确的校正过。 色彩篇三
颜色相关特效处理
1.1 grayscale 灰阶 灰阶图的效果就是将彩色图片转换为黑白图片。 1.2 理论 理论上在YUV空间将UV分量丢弃只保留Y分量这样就可以得到黑白图像这也是彩色电式机信号能兼容黑白电视机的原理。如下图理论上Y值一样的颜色右边是用acdsee转成灰度图的效果在grayscale模式下看应该是一样的颜色。 算法上的操作理论上应该把UV值改成灰色对应数值就可以了。不过根据软件算法和硬件结构的不同具体代码也会有不同。 1.3 以某平台为例 核心的两行代码如下 SET_HUE_U_GAIN(0); SET_HUE_V_GAIN(0); 这里设置UV GAIN为0如果UV offset设置为128的话最终得到的UV就是128这就和理论是相符合的。 1.4 sepia / sepiagreen / sepiablue 所谓的复古绿蓝就是在灰阶的基础上对UV值额外再做了一个offset将灰度图转换成某种颜色的梯度图。理论上为了获得蓝色效果应该增加蓝色差信号减小红色差信号。即增大U减小V。 以sepiablue效果为例这里的字节的MSB表示符号位所以88为88158为-30。 SET_HUE_U_GAIN(0); SET_HUE_V_GAIN(0); SET_HUE_U_OFFSET(88); SET_HUE_V_OFFSET(158); 1.5 negative 所谓负片效果就是将图像的颜色反转看起来就像是在看胶片底片时的效果。这从理论上也很容易理解和处理就是在RGB空间取其补色具体的操作就是用255分别减去RGB得到新的RGB值。通常会在ISP中实现该功能。 2 小结 理解了原理要做出其它颜色变换方面的效果就很容易了。 基本上在颜色校正和处理方面需要考虑的相关参数大致包括 自动WB上下限自动白平衡时的目标范围RGB gain, UV gain, UV offset, color correction.有些还会有saturation 和 hue相关的设置。 从sensor或ISP硬件处理的流程上说通常方向是先做RGB gain再做color correction,最后做YUV空间的处理。所以调整效果的时候为了减少参数之间的相互影响基本上也可以按这个顺序来调整参数。 亮度及曝光控制篇 1.1 亮度感应及曝光 1.1.1 感光宽容度 从最明亮到最黑暗假设人眼能够看到一定的范围那么胶片或CCD等电子感光器件所能表现的远比人眼看到的范围小的多而这个有限的范围就是感光宽容度。 人眼的感光宽容度比胶片要高很多而胶片的感光宽容度要比数码相机的ccd高出很多了解这个概念之后我们就不难了解为什么在逆光的条件下人眼能看清背光的建筑物以及耀眼的天空云彩。而一旦拍摄出来要么就是云彩颜色绚烂而建筑物变成了黑糊糊的剪影要么就是建筑物色彩细节清楚而原本美丽的云彩却成了白色的一片 再看人眼的结构有瞳孔可以控制通光量有杆状感光细胞和椎状感光细胞以适应不同的光强可见即使人眼有着很高的感光宽容度依然有亮度调节系统以适应光强变化。 那么对于camera sensor来说正确的曝光就更为重要了 1.1.2 自动曝光和18%灰 对于sensor来说又是如何来判断曝光是否正确呢很标准的做法就是在YUV空间计算当前图像的Y值的均值。调节各种曝光参数设定自动或手动使得该均值落在一个目标值附近的时候就认为得到了正确的曝光。 那么如何确定这个Y的均值以及如何调整参数使得sensor能够将当前图像的亮度调整到这个范围呢 这就涉及到一个概念 18%灰一般认为室内室外的景物在通常的情况下其平均的反光系数大约为18%而色彩均值如前所述可以认为是一种中灰的色调。这样可以通过对反光率为18%的灰板拍摄调整曝光参数使其颜色接近为中等亮度的灰色Y值为128。然后对于通常的景物就能自动的得到正确的曝光了。 当然这种自动判断曝光参数的AE功能不是万能的对于反光率偏离通常均值的场景比如雪景夜景等用这种方法就无法得到正确的曝光量了。所以在sensor的软件处理模块中通常还会提供曝光级别的设定功能强制改变自动曝光的判断标准。比如改变预期的亮度均值等。 1.1.3 曝光级别设定 在多数数码相机和拍照手机上都可以看到曝光级别设定的功能如前所述这种设定实际上是在自动曝光的基础上给用户提供一定的曝光控制能力强制改变camera sensor的曝光判断标准获得用户想要的效果。 通常的做法就是改变Y值均值的预期值使得sensor在自动曝光时以新的Y预期值为目标自动调整Exptime 和 AG。 1.1.4 gamma校正 曝光的均值正确了不代表整体图像的亮度分布就和人眼所看到的保持一致了。 事实上人眼对亮度的响应并不是一个线性的比例关系而各种涉及到光电转换的设备的输入输出特性曲线一般也是非线性的且表现为幂函数的形式 y x n , 所以整个图像系统的传递函数是一个幂函数。g g 1×g 2×…×g n 对于sensor来说其响应倒是接近为线性关系所以为了在各种设备上正确输出符合人眼对亮度的响应的图像就需要进行校正。 幂函数的指数的倒数就是通常所说的gamma值。 归一化的gamma曲线 校正的函数可以表示为 1通常对于Window的输出显示系统gamma值为2.2而对于苹果的输出显示系统和打印系统来说gamma值为1.8。 实际上sensor在做gamma校正的时候通常也一并作了从raw格式的10bit的数据到8bit数据的转换所以这时候的公式可以表示为 对比度 对比度的调整在一定程度上说其实也就是对gamma曲线的调整增大对比度就是提高Gamma值。对于图像处理来说也有在硬件gamma校正后单独由软件再进行一次类似的幂函数变换来调整对比度。 1.1.6 曝光参数的调整 曝光强度的调整可以通过改变曝光时间也可以通过改变亮度增益AG来实现。 曝光时间受到桢频的限制比如摄像时要求15帧每秒的话这时候曝光时间最长就不能超过1/15s可能还有别的条件限制实际的曝光时间还要短在光线弱的情况下单独调整曝光时间就无法满足帧频的需要了。 这时候还可以调整增益AG来控制曝光的增益降低曝光时间。但是这样做的缺点是以牺牲图像质量为代价的AG的增强伴随的必然是信噪比的降低图像噪声的增强。 所以以图像质量为优先考虑的时候曝光参数的调节通常是优先考虑调节曝光时间其次在考虑曝光增益。当然曝光时间也不能过长以免由于抖动造成图像的模糊而在拍摄运动场景时对曝光时间的要求就更高了。 抗噪、变焦、频闪篇
1.1 抗噪处理
AG 的增大不可避免的带来噪点的增多此外如果光线较暗曝光时间过长也会增加噪点的数目从数码相机上看主要是因为长时间曝光感光元件温度升高电流噪声造成感光元件噪点的增多而感光元件本身的缺陷也是噪点甚至坏点的来源之一。因此通常sensor集成或后端的ISP都带有降噪功能的相关设置。 1.1.1 启动时机 根据噪点形成的原因主要是AG或Exptime超过一定值后需要启动降噪功能因此通常需要确定这两个参数的阙值过小和过大都不好。 从下面的降噪处理的办法将会看到降噪势附带的带来图像质量的下降所以过早启动降噪功能在不必要的情况下做降噪处理不但增加处理器或ISP的负担还有可能适得其反。而过迟启动降噪功能则在原本需要它的时候起不到相应的作用。 1.1.2 判定原则和处理方式 那么如何判定一个点是否是噪点呢我们从人是如何识别噪点的开始讨论对于人眼来说判定一个点是噪点无外乎就是这一点的亮度或颜色与边上大部分的点差异过大。从噪点产生的机制来说颜色的异常应该是总是伴随着亮度的异常而且对亮度异常的处理工作量比颜色异常要小所以通常sensor ISP的判定原则是一个点的亮度与周围点的亮度的差值大于一个阙值的时候就认为该点是一个噪点。 处理的方式通常是对周围的点取均值来替代原先的值这种做法并不增加信息量类似于一个模糊算法。 对于高端的数码相机拥有较强的图像处理芯片在判定和处理方面是否有更复杂的算法估计也是有可能的。比如亮度和颜色综合作为标准来判定噪点采用运算量更大的插值算法做补偿对于sensor固有的坏点噪点采用屏蔽的方式抛弃其数据Nikon就是这么做的其它厂商应该也如此等等。 1.1.3 效果 对于手机sensor来说这种降噪处理的作用有多大笔者个人认为应该很有限毕竟相对数码相机手机sensor的镜头太小通光量小所以其基准AG势必就比相机的增益要大比如相当于普通家用数码相机ISO800的水平这样才能获得同样的亮度所以电流噪声带来的影响也就要大得多。这样一来即使最佳情况噪点也会很多数据本身的波动就很大这也就造成我们在手机照片上势必会看到的密密麻麻的花点如果全部做平均降低了噪点的同时图像也会变得模糊所以手机噪点的判断阙值会设得比较高以免涉及面过大模糊了整体图像。这样一来一是数据本身就差二是降噪的标准也降低了造成总体效果不佳。 1.2 数码变焦 数码变焦可以有两种形式 其一是通过插值算法对图像进行插值运算将图像的尺寸扩大到所需的规格这种算法就其效果而言并不理想尤其是当使用在手机上的时候手机上的摄像头本身得到的数据就有较大的噪声再插值的话得到的图像几乎没法使用。实际上即使是数码相机的数码变焦功能也没有太大的实用价值。如果插值算法没有硬件支持则需要在应用层实现。我司某平台的数码变焦用的就是该种办法。 其二其实是一种伪数码变焦的形式当摄像头不处在最大分辨率格式的情况下比如130万像素的sensor使用640*480的规格拍照时仍旧设置sersor工作在1280*960的分辨率下而后通过采集中央部分的图像来获取640*480的照片使得在手机上看来所拍物体尺寸被放大了一倍。也有很多手机采用的是这种数码变焦方式这种办法几乎不需要额外的算法支持对图像质量也没有影响缺点是只有小尺寸情况下可以采用。此外在DV方式下也可以实现所谓的数码变焦放大拍摄功能。这应该是一个卖点对Dv来说这种数码变焦还是有实际意义的 要采用这种变焦模式驱动需要支持windowing功能获取所需部分的sensor图像数据。 1.3 频闪抑制功能 1.3.1 何谓频闪 日常使用的普通光源如白炽灯、日光灯、石英灯等都是直接用220/50Hz交流电工作每秒钟内正负半周各变化50次因而导致灯光在1秒钟内发生10050×2次的闪烁再加上市电电压的不稳定灯光忽明忽暗这样就产生了所谓的“频闪”。 下表显示了几种光源的光强波动情况 因为人眼对光强变化有一定的迟滞和适应性所以通常看不出光源的亮度变化。但是依然还是会增加眼睛的疲劳程度。所以市场上才会有所谓的无频闪灯销售。 1.3.2 对频闪的抑制 对于camera sensor来说没有人眼的迟滞和适应过程所以对光源亮度的变化是比较敏感的。如果不加抑制在预览和DV模式下可能会有明显的图像的明亮变化闪烁的现象发生。 如何解决呢考虑到频闪的周期性在一个周期内光源亮度的累积值应该是大体一致的所以如果控制曝光的时间是频闪周期的整倍数那么每一帧图像的亮度就大体是一致的了这样就可以有效地抑制频闪对图像亮度的影响。 所以在自动曝光的模式下sensor会根据频闪的频率调整曝光时间为其周期的整倍数。 因为各地的交流电的频率不同所以有50Hz/60Hz之分。 在具体设置相关Sensor寄存器的时候要根据电流频率和sensor的时钟频率分辨率等计算出频闪周期对应的时钟周期数等。 原文地址http://blog.csdn.net/colorant/
