山东网页制作网站,懒人手机网站,邢台网站建设报价多少钱,网站开发实现软硬件环境一、引言
背景#xff1a;5G技术加速了IoT领域的发展#xff0c;物联网设备数据的收集、存储和计算需求日益增长。Apache IoTDB作为一款专为物联网时序数据设计的软件系统#xff0c;在2020年被Apache基金会认可为顶级项目。
二、IoT领域发展趋势
5G与IoT#x…一、引言
背景5G技术加速了IoT领域的发展物联网设备数据的收集、存储和计算需求日益增长。Apache IoTDB作为一款专为物联网时序数据设计的软件系统在2020年被Apache基金会认可为顶级项目。
二、IoT领域发展趋势
5G与IoT5G催化了IoT的发展80%的5G利好体现在物联网领域。中、美工业互联网及德国工业4.0均在蓬勃发展。边缘计算Gartner自2018年起强调云向边缘计算挺进是十大战略技术趋势之一云边端一体成为IoT领域的典型架构。政策支持国务院于2017年发布工业互联网指导意见设定阶段性基建目标。时序数据库热度自2018年起时序数据库热度攀升涌现出如InfluxDB、OpenTSDB及Apache IoTDB等优秀产品。
三、时序数据库分类与IoTDB优势
分类 基于关系的时序数据库如TimescaleDB建立在Btree上写入受限。基于KV的时序数据库如OpenTSDB索引存储弊端查询能力受限。专为时序数据设计的数据库如InfluxDB和Apache IoTDB基于LSM Tree解决高吞吐写入问题。 IoTDB优势官方性能测试数据显示IoTDB在写入和查询方面均有显著优势。
四、IoTDB核心技术点
IoT时序数据领域问题数据规模庞大、存储成本、写入吞吐、查询性能及乱序问题。LSM Tree架构IoTDB采用LSM Tree架构放弃部分读能力以换取写入最大化。数据先写入内存Mem-Table再合并追加到磁盘。写入过程数据写入后先进行WAL落盘再写入Mem-Table并排序。当内存数据达到一定规模时将Mem-Table变为immutable并创建新的Mem-table同时进行数据合并和索引建立。查询逻辑先在内存Mem-table中查询再在immutable Mem-table和磁盘File中查找辅以Bloom filter加速查询。乱序问题处理IoTDB针对IoT时序数据乱序问题进行重点设计从内存到文件存储均有有序和乱序数据的特殊处理。查询优化机制提供极致的查询性能。
五、IoTDB文件格式设计TsFile
设计原则以查询需求反推文件格式希望同一设备数据存储在一起每个Measurement信息连续存储。数据结构抽象 将设备数据抽象为ChunkGroup独立管理。每个Measurement数据集中存储到一个Chunk中。按时间区间将Chunk数据划分为若干Page信息。 目的充分利用边缘端有限内存资源减少磁盘IO构建最优索引树。索引树节点信息取舍在内存大小一定的情况下索引信息越完整越好以减少磁盘IO。选择ChunkGroup和Chunk进行Meta信息构建。TsFile结构演变 包括data、tsFile Meta信息、Device Meta信息、Chunk Meta信息。优化Meta信息利用构建BTree索引树对Chunk信息进行细粒度时间切片对Measurement进行逻辑抽象LEAF_MEASUREMENT节点提高查询性能。
六、IoTDB应用案例
投产领域风电行业、工程机械、气象大数据平台、城市轨道等。具体案例在中车青岛四方车辆项目中一台IoTDB实例替换老系统10多条Cassandra实例每天管理4000亿数据点信息。在德国和美国也有广泛应用。
