嘉兴网站开发公司电话,从零开始创建wordpress主题.pdf,网站建设厘金手指专业,江苏网站建设效果据世界卫生组织统计#xff0c;全球共 22 亿人视力受损#xff0c;包含 2.85 亿视障人群和 3,900 万全盲人群。而且#xff0c;这一数字将随老龄化加剧不断增加。 虽然视障人群面临着诸多不便#xff0c;但是针对视障人群的辅助设备却存在成本高、维护困难、操作复杂等问题… 据世界卫生组织统计全球共 22 亿人视力受损包含 2.85 亿视障人群和 3,900 万全盲人群。而且这一数字将随老龄化加剧不断增加。 虽然视障人群面临着诸多不便但是针对视障人群的辅助设备却存在成本高、维护困难、操作复杂等问题很难满足他们的生活需求。 为此广东技术师范大学和武汉科技大学的研究者基于智慧物联网共同开发了一套视障辅助设备通过 AI 算法和传感器为视障人群的生活带来便利。 作者 | 雪菜
编辑 | 三羊、铁塔
2019 年世界卫生组织 (WHO) 发布了第一份「世界视力报告」。报告称全球至少有 22 亿视力受损者其中 2.85 亿人为视障人群3,900 万人彻底失明。受全球人口增长和人口老龄化的影响视障人群的数量在 2040 年可能会增长 3 倍。 图 1全球视力受损者估计人数
视障者无法通过视觉系统接收外界的信息在日常生活中面临着诸多不便。他们很难躲避附近的障碍物也无法从书籍或是屏幕中获取信息。
然而对视障人群进行长期健康监护成本很高而现有的视障人群辅助设备价格昂贵、比较笨重且交互性差也很难满足他们的日常需求。
为解决上述问题广东技术师范大学和武汉科技大学的研究者基于智慧物联网 (AIoT, Artificial Intelligence of Things) 开发了一套视障辅助设备。
这套设备主要包括智能眼镜和智能盲杖总造价约 480 元。它可以通过多种传感器监测使用者和环境的状态帮助使用者与环境进行交互并在危险状况下发出警报。这一成果已发表于「Electronics」。 这一成果已发表于 「Electronics」
论文链接
https://www.mdpi.com/2079-9292/12/18/3760
设备设计
AIoT 架构感知与交互
视障辅助设备的 AIoT 架构包括 3 层
1、感知层即收集外部数据的传感器及模组
2、网格层使用窄带物联网 (NB-IoT) 进行数据连接并使用 HTTP 和 MQTT 协议进行数据传输
3、应用层主要通过 APP 和蓝牙音频设备与用户进行交互。 图 2AIoT 的架构示意图
智能眼镜YOLO v5 OCR
视障辅助设备应兼具便利和可靠性以满足视障人群的日常需要。为此研究人员通过双目相机收集图像随后通过轻量级网格模型 YOLO v5 对物体及其距离进行分析或是通过光学字符识别 (OCR) 阅读文字。 图 3智能眼镜的结构示意图
物体识别过程中YOLO v5 算法会将图片划分为网格随后预测每个网格单元的边界框并在创建边界框的同时识别出图片中的不同物体。
YOLO v5 网格主要分为 4 层包括
1、input用于对输入图像进行初始定义
2、backbone利用卷积神经网络 (CNN) 提取图像特征
3、neck整合图像特征并连接 backbone 层和 output 层
4、output利用边界框输入对图像中物体的预测。 图 4本研究中 YOLO v5 算法架构
除图像识别外YOLO v5 算法还能通过对比双目相机的图像计算用户与障碍物之间的距离。 图 5YOLO v5 计算障碍物距离的方法 图 6YOLO v5 计算障碍物距离的公式
公式中B 为相机左右镜头间距f 为相机焦距d 为对应左右点的视差。
智能眼镜的 OCR 功能通过调用百度 OCR 的 API 实现。OCR 过程包括图像获取、降噪、二值化 (Binarizatoin)、文字区域提取、字符分割、字符识别、优化及音频输出。 图 7OCR过程示意图
智能盲杖健康监测与环境感知
智能盲杖的主要功能之一是健康监测因此在盲杖上集成了心率、体温等传感器和数据收集模组。为实现非接触测量心率传感器使用光体积变化描记图法 (PPG, Photoplethysmography) 进行监测体温传感器使用红外辐射进行监测。 图 8智能盲杖的结构示意图
此外为增强视障者对环境的感知盲杖上还集成了温度、湿度和姿势传感器。姿势传感器由加速度计和陀螺仪组成通过计算使用者的组合加速度 (ACLR)监测其是否有跌倒的风险。
如果使用者距离障碍物过近或是姿势传感器察觉到使用者可能会跌倒盲杖将通过震动和蜂鸣器发出警报。 图 9用于跌倒监测的 3 维坐标系
实验结果
图像识别物体与距离
研究人员在常见室内外环境中对设备的物体识别能力进行了 20 次测试。结果显示室内外环境下 YOLO v5 算法均能比较准确地识别出环境中的物体并对物体与使用者之间的距离作出判断。 图 10室内环境下的测试结果 图 11室外环境下的测试结果
然而随着图像中物体数量增加错误率会随之提高尤其是对于具有相似特征的物体比如电视与显示器或是自行车与摩托车等。最终智能眼镜的识别准确率为 92.16%。
即使 YOLO v5 算法认错了物体它依然能对距离作出判断。与商用的 APP 相比YOLO v5 算法判断距离的偏离率在 0.28-6.32% 之间随着距离的增加而增加。
基于这一判断当使用者与物体之间的距离小于 0.7 m 时智能盲杖会发出警报同时接管微控制器以避开障碍物。
OCR正确率接近 100%
同时研究人员用 10 段文本测试了智能眼镜的 OCR 性能。测试状态下智能眼镜的 OCR 正确率为 100%。虽然阅读过程中头部移动会导致些许识别错误但整体 OCR 正确率仍有 99.91%。 图 12智能眼镜的 OCR 结果
健康监测心率与体温
心率监测模组通过 PPG 对用户的心率进行实时记录。测试中智能盲杖分别记录了不同年龄的被试在静止和行走状态下的心率结果与商用手环的偏离率在 0.72-3.52% 之间。 表 1不同实验组的心率监测结果
体温测试中与医用的前额温度计相比测试模组的最大偏离率为 0.19% 。这一结果说明即使在智能盲杖上红外体温传感器也能够准确监测使用者体温不会受到环境的干扰。
表 2不同实验组的体温监测结果
姿势监测行走、上楼与下楼
智能盲杖可以通过加速度计和陀螺仪对使用者的姿势进行监测并在可能跌倒时发出警报。实验测试了使用者在行走、上楼与下楼时盲杖的监测结果 并将结果分为 3 类
1、正确盲杖监测的结果和使用者状态一致
2、不正确盲杖监测到了跌倒风险但使用者仍为正常状态
3、无响应盲杖显示正常状态但使用者有跌倒风险。 表 3不同实验条件下的跌倒监测准确率
在不同场景下智能盲杖的平均监测正确率为 87.33% 说明这一设备可以在多数情况下对使用者的状态作出正确判断。
万物互联APP 蓝牙
最终所有数据会传输到手机上并通过 APP 整合。同时蓝牙音频会将这些数据播报给使用者帮助他们了解自己的健康状态和外部环境。 图 13集成的 APP 界面
关注普遍的眼健康
虽然无障碍设施正在多个场景不断普及但这些设备更多针对行动不便的人群。对于身处黑暗的视障人群而言他们需要更多的无障碍设施。
但由于 群体小、设施成本高这些设施很难普及。盲道、盲文等便利视障人群的设施则会因缺乏维护和管理无法发挥效用。
然而已有相当多的个人和企业参与到了帮助视障人群的行动中。目前绝大多数主流手机品牌已经有了专为视障人群设计的操作方式。
在北京、昆明等城市开设了专为视障人群讲述电影的「心目影院」帮助视障人群观赏院线大片。
在「我的世界」、「炉石传说」等游戏社区中也有热心玩家开发了无障碍的模组 (Mod) 帮助改善视障人群的游戏体验。 图 14「心目影院」中的盲人观众
2023 年 6 月 6 日是第 28 个全国爱眼日主题为「关注普遍的眼健康」。今天是第 23 个世界视力日希望大家能够关注视力健康同时向身边的视障人群贡献一臂之力与 AI 携手构建无障碍世界。
参考链接
[1]https://www.who.int/zh/news/item/08-10-2019-who-launches-first-world-report-on-vision
[2]https://bjo.bmj.com/content/96/5/614.short
[3]https://www.bilibili.com/video/BV1fs4y1K7Q7
