郑州做营销型网站,百度网站怎样优化排名,爱客crm官网,广东做seo的公司iree onnx demo
计划协议系列博客,记录学习iree编译器的过程.
今天第一篇博客,记录安装和测试iree 文章目录 iree onnx demo下载安装ireepython环境安装编译测试1. [前端] onnx模型转MLIR文件2. [后端] MLIR文件转可执行文件3. [执行] 执行测试编译后的文件 关于后端设备的介…iree onnx demo
计划协议系列博客,记录学习iree编译器的过程.
今天第一篇博客,记录安装和测试iree 文章目录 iree onnx demo下载安装ireepython环境安装编译测试1. [前端] onnx模型转MLIR文件2. [后端] MLIR文件转可执行文件3. [执行] 执行测试编译后的文件 关于后端设备的介绍 下载安装iree
IREE官网教程
这里都已经非常详细了,按照官网教程可以成功配置
当然如果你和我一样懒得看这么多, 你可以直接下载iree项目后, 项目内有一个编译脚本
build_tools/cmake/build_all.sh ,直接执行 build_tools/cmake/build_all.sh build就可以编译iree到build文件夹了.
python环境安装
上述的编译步骤会自动编译iree python的相关库,前端IR的导入就是依赖这一部分,可以惨考 官网-python包编译安装 , 我是使用cmake指令直接安装的
CMAKE_INSTALL_METHODABS_SYMLINK python -m pip install -e ../iree-build/compiler
CMAKE_INSTALL_METHODABS_SYMLINK python -m pip install -e ../iree-build/runtime编译测试
1. [前端] onnx模型转MLIR文件
下载onnx 模型可以在: https://github.com/onnx/models/tree/main 这里找onnx 模型用来实验.
本文将下载模型: https://github.com/onnx/models/tree/main/Computer_Vision/adv_inception_v3_Opset16_timm 用于后续的测试 使用下述指令即可将onnx模型转为mlir文件, free-import-onnx 是python工具,需要编译IREE后安装python相关的东西, 也可以直接使用pip下载,自行查阅官网文档.
iree-import-onnx \./*.onnx \--opset-version 17 \-o model.mlir生成的MLIR文件是一个文本文件,可以直接打开 里面基本分类2个部分: 有哪些算子,比如 卷积算子 %190 torch.operator onnx.Conv(%arg0, %2, %3) {torch.onnx.dilations [1 : si64, 1 : si64], torch.onnx.group 1 : si64, torch.onnx.kernel_shape [3 : si64, 3 : si64], torch.onnx.pads [0 : si64, 0 : si64, 0 : si64, 0 : si64], torch.onnx.strides [2 : si64, 2 : si64]} : (!torch.vtensor[1,3,299,299],f32, !torch.vtensor[32,3,3,3],f32, !torch.vtensor[32],f32) - !torch.vtensor[1,32,149,149],f32 常量算子 %188 torch.operator onnx.Constant() {torch.onnx.value dense_resource_onnx__Conv_1156 : tensor192x2048x1x1xf32} : () - !torch.vtensor[192,2048,1,1],f32 有哪些常量 一般就是权重和算子的参数 _onnx__Conv_1156: 0x0800000098233D3B52728ABEE29334BE1F0CF4BD48A5BDBD8D90713D...2. [后端] MLIR文件转可执行文件
编译MLIR
iree-compile \model.mlir \--iree-hal-target-backendsllvm-cpu \--iree-llvmcpu-target-cpuhost \-o model_cpu.vmfb
可以生成最终的编译结果 vmfb 文件, 这是一个flatbuffer格式的, 可以通过 iree-dump-module ./model_cpu.vmfb 指令来看模型的结构. # # | Offset | Length | Blocks | i32 # | ref # | Requirements | Aliases
# -----------------------------------------------------------------------------------------------------------------
# 0 | 00000000 | 17232 | 1 | 340 | 4 | |
# 1 | 00004350 | 488 | 1 | 24 | 8 | | main_graph$async
# 2 | 00004538 | 90 | 1 | 2 | 3 | | main_graph
# 3 | 00004598 | 2311 | 14 | 26 | 6 | | __init其中J:
# main_graph$async 和 main_graph 更有可能是用于模型推理的函数。其中main_graph$async 或许是异步执行的函数而 main_graph 是同步执行的函数。你可以先尝试使用 main_graph 作为函数名来运行模型3. [执行] 执行测试编译后的文件
执行测试 这里使用的是fp32全是2的数值的TV.
iree-run-module \--modulemodel_cpu.vmfb \--devicelocal-task \--functionmain_graph \--input1x3x299x299xf322 \./model_cpu.vmfb 关于后端设备的介绍
1. llvm-cpu
通用 CPU 后端默认选项基于 LLVM 编译器优化 CPU 指令支持 x86/ARM 等主流 CPU 架构适合没有专用加速硬件的设备
2. metal-spirv
苹果专有 GPU 加速方案支持 iOS/macOS 设备的 Metal API适配 Apple SiliconM 系列芯片和 A 系列芯片需要 macOS 10.13 或 iOS 11
3. vmvx
针对 Intel 视觉处理单元VPU如 Movidius Myriad X 等边缘 AI 芯片适合低功耗嵌入式设备的视觉推理需安装 VPU 驱动和相关工具链
4. vmvx-inline
实验性的 VPU 内联编译模式直接在 CPU 上模拟 VPU 指令集主要用于开发调试性能较低
5. vulkan-spirv
跨平台 GPU 加速方案支持 NVIDIA/AMD/Intel 等主流 GPU适用于 Linux/Windows/macOS 等系统需安装对应 GPU 的 Vulkan 驱动
6. webgpu-spirv
浏览器端 GPU 加速方案基于 WebGPU API需 Chrome/Firefox 等支持允许在网页中直接运行 AI 模型适用于 WebAssembly 环境
选择建议
CPU 设备 → llvm-cpu苹果设备 → metal-spirv通用 GPU → vulkan-spirv边缘 AI 设备 → vmvx网页应用 → webgpu-spirv
