茂名网站开发,隐秘入口 黑料正能量,在菲律宾做网络网站犯法吗,传媒公司vi用于ONNX的TensorRT后端解析ONNX模型以使用TensorRT执行。另请参阅TensorRT文档。有关最近更改的列表#xff0c;请参见changelog。支持的TensorRT版本Master分支上的开发适用于具有完整维度和动态架构shape支持的TensorRT 7.2.1的最新版本。对于TensorRT的早期版本#xff0…用于ONNX的TensorRT后端解析ONNX模型以使用TensorRT执行。另请参阅TensorRT文档。有关最近更改的列表请参见changelog。支持的TensorRT版本Master分支上的开发适用于具有完整维度和动态架构shape支持的TensorRT 7.2.1的最新版本。对于TensorRT的早期版本请参考其各自的分支。完整尺寸动态架构在具有动态架构支持的全维度模式下构建INetwork对象需要调用以下APIC const auto explicitBatch 1U static_castuint32_t(nvinfer1::NetworkDefinitionCreationFlag::kEXPLICIT_BATCH);builder-createNetworkV2(explicitBatch)Pythonimport tensorrtexplicit_batch 1 (int)(tensorrt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH)builder.create_network(explicit_batch)有关这些API用法的示例请参见sampleONNXMNISTsampleDynamicReshape支持的算子当前支持的ONNX算子可在算子支持列表中找到。安装依存关系DependenciesProtobuf 3.0.xTensorRT 7.2.1TensorRT 7.2.1 open source libaries (master branch)编译对于在docker中进行构建建议按照mainTensorRT存储库[https://github.com/NVIDIA/TensorRT#setting-up-the-build-environment]中的说明使用和设置Docker容器来构建onnx -tensorrt库。clone存储库后可以通过运行以下命令来构建解析器库和可执行文件cd onnx-tensorrtmkdir build cd buildcmake .. -DTENSORRT_ROOTpath_to_trt make -j// Ensure that you update your LD_LIBRARY_PATH to pick up the location of the newly built library:export LD_LIBRARY_PATH$PWD:$LD_LIBRARY_PATH可执行用法可以使用onnx2trt可执行文件将ONNX模型转换为序列化的TensorRT引擎onnx2trt my_model.onnx -o my_engine.trtONNX模型也可以转换为人们可读的文本onnx2trt my_model.onnx -t my_model.onnx.txtONNX模型也可以通过ONNX的优化库由dsandler添加进行优化。要优化ONNX模型并输出新的模型可使用它-m来指定输出模型名称用-O指定以分号分隔的优化过程列表进行应用onnx2trt my_model.onnx -O pass_1;pass_2;pass_3 -m my_model_optimized.onnx通过运行以下命令查看更多所有可用的优化遍历onnx2trt -p通过运行以下命令查看更多用法信息onnx2trt -hPython模块ONNX-TensorRT解析器的Python绑定打包在随附的.whl文件中。用来安装python3 -m pip install tensorrt_install_dir/python/tensorrt-7.x.x.x-cppython_ver-none-linux_x86_64.whlTensorRT 7.2.1支持ONNX版本1.6.0。通过以下方式安装python3 -m pip install onnx1.6.0可以通过运行以下命令来安装ONNX-TensorRT后端python3 setup.py installONNX-TensorRT Python后端使用可以在Python中如下使用ONNX的TensorRT后端import onnximport onnx_tensorrt.backend as backendimport numpy as npmodel onnx.load(/path/to/model.onnx)engine backend.prepare(model, deviceCUDA:1)input_data np.random.random(size(32, 3, 224, 224)).astype(np.float32)output_data engine.run(input_data)[0]print(output_data)print(output_data.shape)C 库用法模型解析器库libnvonnxparser.so在头文件中声明了其C APINvOnnxParser.h测试安装后或在Docker容器内可以按以下方式运行ONNX后端测试仅实模型测试python onnx_backend_test.py OnnxBackendRealModelTest所有测试python onnx_backend_test.py可以使用-v标志使输出更加详细。预训练模型在ONNX格式预先训练模式可以在找到ONNX Model Zoohttps://github.com/onnx/onnx-tensorrtgithub.com
