网站无缝背景,贵港做网站化司,微信运营推广方案,乡镇中心小学校园网站建设指南一、概述
相比起用于ADAS感知系统的摄像头#xff0c;用于智能座舱内部的摄像头#xff0c;其功能特性和性能要求相对简单。例如#xff0c;OMS乘客监控摄像头#xff0c;一般达到5MP即可有良好的效果。同时#xff0c;OMS也可应用于车内会议系统#xff0c;还应用于车内…一、概述
相比起用于ADAS感知系统的摄像头用于智能座舱内部的摄像头其功能特性和性能要求相对简单。例如OMS乘客监控摄像头一般达到5MP即可有良好的效果。同时OMS也可应用于车内会议系统还应用于车内儿童检测。DMS驾驶员监测系统SVC 360环视摄像头DVR行车记录仪均为自动驾驶域ADC与智能座舱域CDC共用的摄像头。下文将简要介绍这些摄像头的使用方式。
对于车载摄像头来说它的特点在于摄像头的安装位置和ISP处理芯片之间的距离。在2MP以下的摄像头一般会直接输出YUV格式的图像数据无需额外的ISP进行图像处理。而2MP以上则摄像头会输出raw原始数据需要有独立的ISP进行摄像头图像格式处理。由于摄像头使用数目很多如果每个摄像头都安排一个ISP那么成本将非常巨大。因此需要将ISP安排在CDC座舱控制器内部而通过高速传输线缆将摄像头的raw数据传送到集中式的ISP来进行处理。此时就需要使用高速视频传输总线。
如同高速音视频传输接口章节所描述的一样此时一般使用GMSL或者FPDlink实现远端Camera的raw数据传输到CDC中来。未来还可能采用的技术有Mipi-A phy 和ASA。此时SerDes串行解串器芯片一般成对设置在摄像头端集成有serializer chip在CDC端则设计有desierializer chip它们之间的距离可以长达10米最长不超过15米。
作为Camera传输的桥接芯片和传输数据线可以参考如下图片了解 二、 OMS
OMS(Occupant Monitor System) 乘客及后座检测系统的简称。在法规上已经有不少地区和国家在立法要求进行车内儿童检测。欧洲NCAP计划从2023年1月起增加对车内儿童存在检测的评分各项规定非常细致。美国正在立法要求所有新车预装儿童存在检测功能预计在2025年全面实施。据说国内相关规范也在评估制订中。
OMS摄像头可以在一定程度上满足车内儿童存在检测的要求。为了提高检测的准确性甚至还要求增加生命体征检测雷达(UWB或者毫米波雷达)。从目前的实践来看一般在前排后视镜位置布置一颗5MP甚至8MP的OMS主摄像头在第二排第三排座位上方增加2MP的后排OMS。通过人脸识别动作捕获活体检测等AI算法的应用OMS可以提升智能座舱车内的感知。
OMS还可以为如下应用功能提供支持车内视频会议系统安全支付系统人工智能助手融合感知系统等。 为了保证在座舱环境内任何光照强度下都能正常使用OMS一般要求支持RGB-IR可见光和红外光双波段工作模式同时需要布置红外补光灯。在夜间可以采用IR红外光进行检测在白天采用RGB可见光进行工作。 2.1 TOF
TOF是Time of flight的简写直译为飞行时间的意思。所谓飞行时间法3D成像是通过给目标连续发送光脉冲然后用传感器接收从物体返回的光通过探测光脉冲的飞行往返时间来得到目标物距离。这种技术跟3D激光传感器原理基本类似只不过3D激光传感器是逐点扫描而TOF相机则是同时得到整幅图像的深度信息。TOF相机与普通机器视觉成像过程也有类似之处都是由光源、光学部件、传感器、控制电路以及处理电路等几部单元组成。与同属于非嵌入式三维探测、适用领域非常类似的双目测量系统相比TOF相机具有根本不同的3D成像机理。双目立体测量通过左右立体像对匹配后再经过三角测量法来进行立体探测而TOF相机是通过入、反射光探测来获取的目标距离。
由于TOF采用多点发射和测量的方法来计算并得出深度信息因此它的特点是分辨率低功耗高。受激光发射点的限制其分辨率一般不会超过640*480功耗却是结构光的十倍以上。 2.2 双目结构光RGB
双目结构光采用的是双目立体视觉的技术它模仿人眼的左右视差用2个红外摄像头从左右两个方向获取被测物体的两幅图像然后计算图像对应点之间的偏差采用三角测量的方式计算得出视差图再转换为3D深度信息。在这里的结构光指的是红外投射器会投出一个简单的红外光点阵用来增强物体表面的纹理然后再由IR摄像头拍摄物体图像利用算法进行后期计算处理。
双目立体视觉系统的四个基本步骤
1 相机标定主要包含两部分内容: 单相机的内参标定和双目相机的外参标定前者可以获得每个相机的焦距、光心、畸变系数等参数后者可以获得双目相机之间的相机坐标系的旋转、平移关系。
2 立体校正该过程是根据相机的标定结果对两个相机采集到的原始图像进行校正校正后的两张图像位于同一平面且互相平行即图像的每行像素之间共线。
3 立体匹配该过程是根据立体校正后的图像进行像素点的匹配匹配成功的点表示真实世界中的某点在这两个图像中的不同位置。
4 深度计算对立体匹配后得到的2幅图利用三角测量法逐个计算每一个像素点的视差得到视差图后再转换成为深度图。
双目的优点是硬件资源需求低只要2个普通的IR相机搭配一颗带DSP的SOC芯片即可计算获取深度图。但它的缺点是必须配置双目并要求具有一定的基线长度因此它的安装环境受限。
2.3 单目结构光 结构光英文叫做 Structured light基本原理是通过近红外激光器将具有一定结构特征的光线投射到被拍摄物体上再由专门的红外摄像头进行采集。这种具备一定结构的光线(激光散斑)会因被摄物体的不同深度区域而采集不同的图像相位信息然后通过运算单元将这种结构的变化换算成深度信息以此来获得三维结构。简单来说就是通过光学手段获取被拍摄物体的三维结构再将获取到的信息进行更深入的应用。通常采用特定波长的不可见的红外激光作为光源它发射出来的光经过一定的编码投影在物体上通过一定算法来计算返回的编码图案的畸变来得到物体的位置和深度信息。
相对于TOF结构光的功耗较低因为它只需要投射一小块区域就可以满足要求。它的分辨率和精度都高于TOF且成本也比TOF低。相比双目结构光单目结构光的基线可以做得较小方便布置在车内环境中。并且它在低光照条件下仍然可以使用更适合车内环境。
2.4 OMS视觉方案 在智能座舱内部的感知系统中OMS发挥出巨大的作用和优势。在语音识别之外多模态识别对视觉感知的需求越来越高。其中增加了深度信息的手势识别人脸面部表情识别情绪识别口语识别等功能将给车载AI助手赋予更高的智能提升了智能座舱的用户感受度给予了良好的体验。
对上述感知摄像头方案进行比较除了不带深度信息的单目RGBIR之外其余3种都是深度相机的可选项。
双目结构光RGB方案最大的问题在于实现算法需要很高的计算资源导致实时性很差而且基本跟分辨率检测精度挂钩。也就是说分辨率越高要求精度越高则计算越复杂同时纯双目方案受光照物体纹理性质影响。所增加的RGB摄像头只有1路主要用于与深度图的对比显示。
TOF方案由于硬件条件限制其分辨率较低感知精度低于结构光和双目立体方案。需要多点激光发射硬件成本高但是它的算法复杂度低实时性高可达120帧率并且硬件计算资源需求较低。
单目结构光方案目的就是为了解决双目中匹配算法的复杂度和鲁棒性问题而提出该方案解决了大多数环境下双目的问题。但是在强光下结构光核心技术激光散斑会被淹没因此在阳光强烈的时候可能会失效。
三、DMS
DMS(Driver Monitor System)驾驶员监测系统的简称。指在驾驶员行驶过程中全天候监测驾驶员的疲劳状态危险驾驶行为等。在发现驾驶员出现疲劳打哈欠眯眼睛抽烟接打手持电话等行为后DMS系统及时的对此类行为进行分析并进行语音和灯光等提示起到警示驾驶员纠正错误驾驶行为的作用。
由于DMS主要用于驾驶员异常行为的监测因此它主要属于ADC自动驾驶域而不属于CDC智能座舱域。但是DMS一般安装在舱内A柱下方直接面对驾驶员的面部因此也可以算入智能座舱内部的摄像头之一。
DMS一般采用2MP的红外摄像头无需采用RGB工作模式。它所拍摄的画面需要让“机器”能够看得清让AI算法对驾驶员的状态分析准确而无需让“人”看得舒服。因此DMS只要求到2MP的像素分辨率即可并且需要红外补光摄像头保证在任何光照条件下都能够让机器看清楚驾驶员的面部特征。
需要注意的是DMS和OMS都具有红外补光灯因此需要设计专门的红外灯同步信号确保DMS和OMS的补光灯不能同时工作以避免产生过曝现象。
DMS感知算法的进一步提升还包括眼动跟踪面部表情情绪监测等。与人工智能助手相配合的多模态识别还将包含口型检测等进一步的AI识别算法得到应用。
四、行车记录仪
车载DVR即Digital Video Recorder也正是行车记录仪。在DVR的功能当中分为车载前装DVR和后装DVR。后装DVR一般是独立的行车记录仪设备它使用音视频编码技术将DVR自带的摄像头数据进行转换和压缩保存在DVR的存储设备中。由于后装设备无需满足车规标准在汽车出厂时也不包含此设备需要在汽车配件市场进行后期安装因此它可以采用消费级的电子芯片其可靠性也远远达不到车规级的要求。
前装DVR则需要满足车规级标准在汽车出厂时就已经安装完毕它的使用年限和可靠性都需要按车规电子的标准来要求。
通常前装DVR可以无需设置单独的摄像头而是直接复用ADAS自动驾驶域的摄像头即可。一般来说DVR可以保存前向广域摄像头(FOV达到120°)SVC 360环视摄像头的图像数据。为了满足白天黑夜的数据记录要求以及满足进出隧道等摄像头高动态范围识别要求前向DVR摄像头和SVC环视都要求满足HDR(High Dynamic Range)的要求。因此必须要求摄像头支持HDR模式ISP也要求支持HDR模式。
五、360环视
SVC(Surround View Cameras)即环视摄像头它一般布局在车头(前向)车尾(后向)左后视镜(左向)右后视镜(右向)。SVC是多摄像头系统允许驾驶员拥有360度视野实时查看车辆周边环境。此系统通过显示图像合成算法将多个摄像头的视角融合得到在高处环视车辆的“上帝视角”。
SVC 同样主要属于ADC自动驾驶域因为对于泊车辅助系统来说需要SVC摄像头来帮助感知泊车的停车位和周边环境。因此SVC 360环视摄像头也被称为Parking Assistance Camera。
SVC摄像头具有如下几个特点 六、流媒体后视镜
6.1 法规
CMS(Camera Monitor System)即流媒体后视镜。CMS是用电子方式取代传统的玻璃镜面倒车镜它有很多个名字有叫电子侧视镜虚拟倒车镜电子倒车镜 电子取代镜等ISO 国际标准组织称其为摄像头监控系统即 Camera Monitor System。 图片来源奥迪
奥迪 e-tron 在 CMS 系统搭载了两个 7 英寸、1280x1080 的 OLED 屏幕。据称是 OLED 屏响应速度快大约 100 毫秒。奥迪表 示外侧摄像头系统有助于将阻力系数从美国版的 0.28 提高到 欧洲版的 0.27。对于纯电动汽车来说在高速公路上这个微小的差别可以增加 3 英里的续航里程。这个非规则形状的 OLED 屏成本极高且角度略低容易导致驾驶员分心下一代奥迪很有可能改回标准矩形放在 A 柱附近。
目前全球只有日本和欧洲的法规允许使用电子后视镜系统代替玻璃视镜。欧洲法规方面主要有 UN ECE R46-2016《关于间接视野装置及安装间接视野装置车辆认证的统一规定》和 ISO 16505-2019《摄像头监视系统的人体工程学和性能方面的要求和试验程序》 。 还有一个法规 IEEEP 2020 Standard for Automotive System Image Quality车载相机图像质量标准 IEEEP2020 希望规范是车上的所有的摄像头图像质量相关的测试和问题。无论是人类视觉应用还是计算机视觉应用都在其范畴。并且其主要规范的就是摄像头成像系统的图像质量。
目前CMS还需要专用的摄像头(HDR)传输通道以及显示屏。摄像头分辨率和帧率一般最高只能达到2MP 60fps或者4MP 30fps且成本相当高昂在实用性上还有一定的差距。
最新的中国国标GB 15084-2022已经于2023-07-01生效允许汽车安装流媒体后视镜其中包括各种IIIIII类镜。一图读懂强制性国家标准GB 15084-2022《机动车辆 间接视野装置 性能和安装要求》 6.2 CMS性能要求
对于乘用车来说首先需要区分I类镜和III类镜的区别这个十分重要。
I类镜也称为电子内后视镜它主要是利用后置摄像头将Camera拍摄到的视频流传输到车内中央的后视镜上进行显示。而III类镜也称为电子外后视镜它主要用于替代车身左右侧外部后视镜将安装在车身两侧向后观察位置的摄像头视频流显示在车内显示屏上。 在GB15084-2022中对CMS的性能提出了非常具体的要求并提出了检测标准
亮度调节监视器的亮度应能根据环境条件手动或自动调节。方向均匀性为了确保驾驶员在预期的不同方向观察显示屏时显示屏具有足够的可见性限制从不同方向观察的图像亮度衰减并规定了方向均匀性。亮度对比度复现为了确保CMS在不同使用环境条件下的图像质量以及可辨识的车外视野规定了亮度对比度复现的要求分别选取阳光直射散射环境光日落条件夜间条件等4种典型场景来评估。灰度与色彩还原CMS应能在显示屏上显示至少8个不同的灰度等级在色彩还原度测试上按ISO16505规定的方法进行试验并满足规定的要求。弥散为了避免强光源照射摄像机镜头而在显示屏上形成光芒状的亮条对驾驶员产生干扰规定了弥散要求限制弥散亮度值不大于引起弥散的光源影像最大亮度值的10%。光晕和眩光按ISO16505规定的方法进行试验光晕和镜头眩光区域应不大于所显示影像面积的25%。点光源为了在夜间行车时驾驶员能够明确区分车后机动车的两个前照灯规定了点光源的要求。点光源发现系数应不小于2.7或点光源对比度系数应不小于0.12。锐度景深几何畸变为了使驾驶员观察车外视野内目标的识别能力需要规定锐度景深几何畸变的测试标准并按ISO16505规定的方法进行验证。帧率CMS的帧率至少为30fps在低光照条件或车辆低速行驶时可以降低到15fps。成像时间和系统延迟显示器成像时间应小于55ms车外事件发生时到车内监视器输出图像的时间为系统延时不应低于200ms。
根据上述国标的测试标准来看CMS要满足汽车前装的要求需要从摄像头控制芯片ISP处理显示屏等一系列环节进行系统分析在光学机械电子等方面进行软硬综合一体的设计才能得到满意的结果。
6.3 CMS系统架构
CMS系统有“MCU方案”和“SOC方案”两种配置——前者功能简单、价格低、延时低后者功能丰富、价格高、延时高。CMS系统核心的处理任务是ISP如果只是将CMS摄像头采集到的图像用来做显示的话就只需要MCU即可另外可以在经过ISP处理后的图像基础上加一些应用层的功能例如BSD、开门预警等功能但是需要加SOC。前者MCU方案功能简单省去了SOC核心板成本价格更低后者SOC方案价格更高由于新增一些功能处理系统延时也相较于前者更高。MCU方案中ISP处理可以放在显示屏里屏厂Tier1偏好的方式也可以放在摄像机里摄像机Tier1偏好的方式。对于MCU方案CMS系统负责ISP的处理器可以放在屏幕里也可以放在摄像机中这种方案没有独立的CMS控制器。对于SOC方案可以放在独立的CMS控制器中未来也可以被集成到智能驾驶域控制器或者智能座舱域控制器中。
上述不同的方案对应了不同的系统成本简要介绍2种不同的系统架构方案
1、处理芯片ISP集成在屏幕与相机模组分离显示屏供应商希望把整个处理囊括在屏里也就是把基于显示屏为处理核心的模块嵌入到屏的板子上来处理前端相机传输进来的图像信息来配合整个屏的模组模块化设计。。 2、处理芯片ISP与相机集成在外耳与舱内显示屏分离做耳镜也就是摄像头的供应商他们希望把处理器嵌入到两侧耳镜当中来适配舱内不同屏的厂家。这种方案可以使得整个系统小型化在外耳镜端器件可以用小的封装在长条形或者半圆形的两侧耳镜模块当中。摄像头采集到的Rawdata传输进来可以在耳镜端直接做ISP处理然后在舱内显示屏中做显示。 3、处理芯片ISP集成在智能座舱域控制器CDCCamera复用在这种方案下将以中央计算平台为中心利用智能座舱SOC芯片强大的ISP处理能力同时复用车载摄像头输入原始raw data实现成本最优。 在本方案中摄像头为原车载ADAS域摄像头ISP使用了中央计算平台中的智能座舱SOC新增器件只有显示屏可见在三种方案中成本最佳。但该方案对于III类镜所需的功能安全要求是一个挑战因此还未能达到立即商用的程度可以作为未来发展的一个方向进行研究。
参考文献
深度相机—TOF、RGB双目、结构光原理及优势对比汽车电子后视镜行业分析法规落地汽车后视镜百年变革正式开启电子外后视镜开闸后的严峻挑战
