网站备案是什么,新品网络推广,多商家商城,杭州响应式网站建设目录 一. 简述二. 输入输出三. github资源四. 复现推理过程4.1 cuda tensorrt 版 一. 简述
原文:Fast-BEV: A Fast and Strong Bird’s-Eye View Perception Baseline FAST BEV是一种高性能、快速推理和部署友好的解决方案#xff0c;专为自动驾驶车载芯片设计。该框架主要包… 目录 一. 简述二. 输入输出三. github资源四. 复现推理过程4.1 cuda tensorrt 版 一. 简述
原文:Fast-BEV: A Fast and Strong Bird’s-Eye View Perception Baseline FAST BEV是一种高性能、快速推理和部署友好的解决方案专为自动驾驶车载芯片设计。该框架主要包括以下五个部分
Fast-Ray变换这是一种轻量级的、部署友好的视图变换它将多视图2D图像特征沿着相机射线的体素投影到3D从而快速获得BEV鸟瞰图表示。相较于传统方法这种变换方式显著提升了推理速度使得多尺度投影操作变得更为高效和实用。 多尺度图像编码器利用多尺度信息来获取更好的性能。通过多尺度投影操作编码器能够充分利用不同尺度的图像特征从而增强BEV感知的准确性和鲁棒性。 高效BEV编码器专为加速车载推理而设计。通过使用少量的原始残差网络作为基本BEV编码器该部分能够在保证性能的同时进一步降低计算复杂度和推理时间。 数据增强针对图像和BEV空间的强大数据增强策略以避免过度拟合。通过引入各种数据变换和增强技术可以提高模型的泛化能力使其在面对不同场景和复杂环境时仍能保持良好的性能。 时间融合利用时间信息的多帧特征融合机制。通过融合多帧图像的特征信息该部分能够捕捉动态场景中物体的运动轨迹和状态变化从而进一步提升BEV感知的准确性和实时性。 FAST BEV的优势在于其能够在保证高性能的同时实现快速推理和方便部署。这使得它成为自动驾驶车载芯片上一种理想的解决方案。此外相较于传统方法FAST BEV无需使用昂贵的视图变换器或深度表示从而降低了硬件成本和维护难度。
综上所述FAST BEV通过优化视图变换、编码器设计、数据增强和时间融合等方面实现了高性能、快速推理和部署友好的自动驾驶解决方案。随着自动驾驶技术的不断发展FAST BEV有望在未来发挥更大的作用。
二. 输入输出
FAST BEV的输入主要是多相机RGB图像 输出则是预测的3D边界框包括速度和地图分割结果。
通过一系列的处理步骤如Fast-Ray变换、多尺度图像编码、高效BEV编码等对输入的RGB图像进行特征提取、视图变换和编码最终输出3D边界框和地图分割结果。
三. github资源
源码: https://github.com/Sense-GVT/Fast-BEV 使用CUDA和TensorRT进行Fast-BEV推理: https://github.com/Mandylove1993/CUDA-FastBEV https://github.com/linClubs/FastBEV-ROS-TensorRT
Fast-BEV代码复现实践: https://blog.csdn.net/h904798869/article/details/130317240 Fast Bev在ubuntu上的复现过程以及error汇总: https://blog.csdn.net/qq_42704750/article/details/130280567 复现教程1 : https://zhuanlan.zhihu.com/p/631504194
四. 复现推理过程
4.1 cuda tensorrt 版
参考链接:https://github.com/Mandylove1993/CUDA-FastBEV 提供了PTQ和QAT的int8量化代码, PTQ Post-Training Quantization是在模型训练完成后进行的量化,通过分析训练好的模型的权重和激活的分布来确定量化参数如缩放因子和零点偏移。 QATQuantization Aware Training通过在训练过程中模拟量化操作来优化模型的权重以减少量化带来的精度损失。 int8量化代码: 将模型的权重从浮点数转换为int8。在推理过程中将模型的激活从浮点数转换为int8。在计算层输出时将int8值转换回浮点数以便进行后续计算。 问题1: CUDA和TensorRT进行Fast-BEV推理 缺少的 在此下载NVIDIA-AI-IOT/Lidar_AI_Solution https://github.com/NVIDIA-AI-IOT/Lidar_AI_Solution/tree/master ../dependencies/stb../dependencies/pybind11/include../libraries/cuOSD/src../libraries/3DSparseConvolution/libspconv/include问题2: 安装mmcv mmdet mmdet3d 参考:https://blog.csdn.net/h904798869/article/details/130317240版本如下:
问题3: 安装spconv:
pip install torch1.10.0cu113 torchvision0.11.0cu113 torchaudio0.10.0 -f https://download.pytorch.org/whl/torch_stable.htmlgit clone https://github.com/traveller59/spconv.git
cd spconv
git checkout v1.2.1
git submodule update --init --recursive
python setup.py bdist_wheelcd ./dist
pip install spconv-.....python
import spconv问题5:https://blog.51cto.com/u_15906550/5921374
