化州市住房和建设局网站,上海建设企业网站,张家港网站建设模板,网络营销的七种方法作者 | alwaysAI翻译 | 火火酱~#xff0c;责编 | 晋兆雨出品 | CSDN云计算头图 | 付费下载于视觉中国人工智能可以让计算机聪明地行动#xff0c;并且在真实环境中快速做出决策#xff0c;同时收获相对理想的效果。当然#xff0c;这个概括性的定义较为宽泛和模糊#xf… 作者 | alwaysAI翻译 | 火火酱~责编 | 晋兆雨出品 | CSDN云计算头图 | 付费下载于视觉中国 人工智能可以让计算机聪明地行动并且在真实环境中快速做出决策同时收获相对理想的效果。当然这个概括性的定义较为宽泛和模糊而且涉及多个领域计算机视觉便是其中的典型例子。在计算机视觉领域中计算机可以像人类一样处理图像并对图像内容进行推断之后计算机程序便可以利用这些信息做出最有利的决策。如今将计算机视觉等人工智能应用程序集成到新的商业模式和产品中的情况越来越常见。计算机视觉在现实世界中的应用十分广泛分析交通模式、检测行为变化、统计地区的人数等等。无论是构建哪种计算机视觉应用其学习过程都要经历一段十分陡峭的学习曲线而且将其部署到边缘则需要更为复杂的操作。虽然近年来在云中部署和运行应用程序变得愈加流行但这并不总是最好的解决方案——特别是对于需要大量处理或使用敏感数据的应用程序来说而这两种情况在计算机视觉应用程序中非常常见。在这种情况下最好的选择往往是将应用程序部署到边缘中。在边缘中部署计算机视觉应用程序的好处非常多我们将在下文中详细介绍。同时我们也将讨论在边缘中运行计算机视觉时要面临的挑战以及如何克服它们。“边缘”是什么一般来说边缘设备都是小型、轻量级的设备可以在其上部署和运行计算机视觉应用程序。如今许多边缘设备甚至具有图形处理单元Graphical Processing UnitGPU或视觉处理单元Visual Processing UnitVPU这使其能适用于更多的模型和更复杂的应用程序。本文中的边缘设备是指Raspberry Pi、Jetson Nano 或NVIDIA Jetson Xavier NX等NVIDIA Jetson 设备或各种物联网Internet of ThingsIoT设备这些边缘设备具有一定的感知或评估能力且能实现与使用环境间的交互。在边缘运行计算机视觉的好处在边缘运行计算机视觉应用程序有三大好处时间、安全和成本。1. 减少延迟虽然可以使用互联网连接来部署应用程序但一旦应用在边缘设备上部署完成后云端链接就无用武之地了。这意味着应用程序可以在边缘设备上而不是云端完成所有推断进而大大减少了应用程序将推断转化为操作所花费的时间。这一优势对于某些用例而言是必不可少的如自动驾驶汽车或安全摄像头。在云端接收和发送数据可能会存在数据丢失的风险此外云端所需的额外时间可能意味着无法及时响应任务这对于自动驾驶等任务来说或许会带来灾难性的后果。此外一些特殊的外围设备例如摄像头本身没有互联网连接边缘设备借助它们来提高性能或扩展应用程序功能。此类设备对边缘处理概念的应用更加出神入化它们不是通过USB将图像数据传输到边缘设备进行处理而是将处理器集成到摄像机本身进一步减少处理延迟。2. 提升安全性其次有了边缘部署便不再需要将数据传输到云端所有数据都可以留在设备本身的封闭电路中。边缘计算将暴露风险分散到多个设备上并且可以在不连接中央服务器的情况下完成所有处理——这种架构更为安全和私密。例如安装在家里的边缘设备可以处理实时数据且不需要依赖可能损害人们日常活动隐私的共享云服务。由于计算机视觉数据可能会涉及私人或其他敏感数据因此使用边缘计算会更加安全。3. 降低成本最后由于不需要云处理在边缘部署CV应用程序的成本要低得多毕竟云计算公司会对每分钟每个端点的所有推断进行收费。对于那些想要“按需付费”的机构来说这是或许是一个很好的、灵活的选择但对于需要进行大量实时处理的机构来说就成了一种负担——比如需要24小时运行摄像头和传感器的智能城市、医院或仓库。在边缘运行计算机视觉所面临的挑战构建计算机视觉应用程序有其自身需要克服的挑战而且这往往是一个反复迭代的过程因此用于构建计算机视觉应用程序的所有管道都必须足够灵活以应对用于承载应用程序部署的模型、库、或设备可能会出现的变化。下面我们将通过一个故事来了解在边缘部署计算机视觉应用程序要面临的的挑战。首先我们可以通过以下两种方式来建立计算机视觉模型1在网上搜索符合需要的开源模型2建立一个图像数据集并训练自己的模型。在第二个方法中我们需要收集自己的数据集单这一项的工作量就已经非常大了同时我们还需要对图像标注工具和训练本身有一定的了解。接下来我们要开始构建应用程序了。假设我们已经有了一个工作模型要构建计算机视觉应用程序的原型。目前常用的计算机视觉库是OpenCV。大家可以使用OpenCV的c或Python应用程序编程接口api。例如可以通过pip install opencv-python轻松访问Python OpenCV API。我们花了一些时间来学习这个API并且获得了一个可以很好地与模型输出集成的程序原型。现在我们在完成了应用程序后要它部署到一个边缘设备上比如Raspberry Pi。首先我们会发现我们使用的OpenCV构建与Raspberry Pi处理器不兼容。其他依赖项也可能存在相同的问题。这样一来我们就需要在Raspberry Pi上编译OpenCV。然后要需要弄清楚如何查看结果借助cv2.imshow()我们可以在自己的笔记本电脑上轻松实现这一点但如果使用的是无头设备没有图形接口的话则需要寻找另一种方法。OK现在我们的应用程序已经可以启动并运行了你会发现曾经在笔记本电脑上看到的惊人的快速性能早已不复存在。当然没有人会指望一台35美元的单板电脑的性能可以超过Macbook但我们依然想要更好的性能。我们了解到可以使用因特尔的Neural Compute Stick 2来提高Pi的性能但是现在还需要构建OpenVINO。由于OpenVINO的接口与OpenCV不同所以需要决定是要重写应用程序以利用NCS2还是要重建OpenCV以使其能够运行OpenVINO推理引擎。当所有这些都完成后我们可能会发现模型需要做更多的调整输出可能会发生变化我们也可能会不断循环执行以上这些步骤如何克服这些挑战要想克服这些挑战除了需要计算机视觉知识外还需要具备一定的物联网经验。然而这些问题也可以通过像alwaysAI这样的开发者平台来解决。在alwaysAI其唯一使命就是尽可能简化构建和部署计算机视觉应用程序到边缘设备的过程包括训练模型构建应用并部署应用到边缘设备如Raspberry Pi、Jetson Nano等等。有了alwaysAI你只需要知道一些基本的命令剩下的都可以交给我们的命令行界面CLI收集数据标注数据训练一个模型并部署和启动你的应用程序。获取计算机视觉模型alwaysAI有一个公开可用的模型目录与所有用我们的管道构建的应用程序都可以协同工作。你也可以使用alwaysAI模型训练工具包来训练自己的对象检测模型。该工具包以TensorFlow作为后端框架并在mobilnet_ssd上进行迁移学习它是在COCO数据集上训练的。该模型训练工具包可以协助用户在无需学习新的API或手动安装任何额外模块的情况下开始使用TensorFlow。工具包中还包含了计算机视觉注释工具Computer Vision Annotation ToolCVAT因此用户可以直接标注新的数据集而不需要从头开始下载并安装CVAT。开发自己的应用程序我们有自己的Python API名为edgeiq它具备一些OpenCV的核心功能可以与之进行交互。这表示大家只需要知道一个API就可以启动并运行计算机视觉应用程序。因为我们自己喜欢使用OpenCV所以我们将其内置为边缘运行环境的核心部分这样一来大家可以将“import cv2”添加到所有alwaysAI应用程序中并且直接在自己的应用程序中使用OpenCV无论你选择的部署设备是什么。部署自己的应用程序我们通过Docker镜像和Python虚拟环境进行容器化操作。因此无论使用何种设备都可以轻松部署应用程序。同时我们可以使用Dockerfile或requirements.txt文件轻松添加应用程序可能出现的任何必要需求。在边缘运行计算机视觉既可以节省时间和成本又可以提供更高的安全性。尽管开发和部署任何计算机视觉应用程序都要面临其自身的挑战但在边缘部署时尤其如此。原文链接https://hackernoon.com/the-challenges-of-running-computer-vision-on-the-edge-9h3t3wpx本文由CSDN云计算翻译转载请注明出处更多阅读推荐你可能也会掉进这个简单的 String 的坑亿级大表分库分表实战总结万字干货实战复盘赠书 | 华为数据底座的整体架构与建设策略Python画出心目中的自己超200家上市企业布局从千余条备案信息看区块链产业
