给朋友网站做宣传怎么写,建设公司网站模版,湖南建设监理报名网站,深圳婚纱摄影网站建设NoSQL是什么 NoSQL #xff1a; Not Only SQL , 本质也是一种数据库的技术#xff0c;相对于传统数据库技术#xff0c;它不会遵循一些约束#xff0c;比如 #xff1a; sql 标准、 ACID 属性#xff0c;表结构等。 NoSQL分类 类型应用场景典型产品Key-value存储缓存 Not Only SQL , 本质也是一种数据库的技术相对于传统数据库技术它不会遵循一些约束比如 sql 标准、 ACID 属性表结构等。 NoSQL分类 类型应用场景典型产品Key-value存储缓存处理高并发数据访问Redis memcached列式数据库分布式文件系统Cassandra Hbase文档型数据库Web应用并发能力较强表结构可变mongoDB图结构数据库社交网络推荐系统关注构建图谱infoGrid Neo4J MongoDB是什么 MongoDB 是一个文档数据库以 JSON 为数据模型由 C 语言编写旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。 文档来自于“JSON Document”并非我们一般理解的 PDF、WORD 文档。 MongoDB 是一个介于关系数据库和非关系数据库之间的产品是非关系数据库当中功能最丰富最像关系数据库的。它支持的数据结构非常松散数据格式是 BSON一种类似 JSON 的二进制形式的存储格式简称 Binary JSON和 JSON 一样支持内嵌的文档对象和数组对象因此可以存储比较复杂的数据类型。Mongo 最大的特点是它支持的查询语言非常强大其语法有点类似于面向对象的查询语言几乎可以实现类似关系数据库单表查询的绝大部分功能而且还支持对数据建立索引。原则上 Oracle 和 MySQL 能做的事情MongoDB 都能做包括 ACID 事务。 基础概念 数据库database最外层的概念可以理解为逻辑上的名称空间一个数据库包含多个不同名称的集合。 集合collection相当于SQL中的表一个集合可以存放多个不同的文档。 文档document一个文档相当于数据表中的一行由多个不同的字段组成。 字段field文档中的一个属性等同于列column。 索引index独立的检索式数据结构与 SQL 概念一致。 _id每个文档中都拥有一个唯一的 _id 字段相当于 SQL 中的主键primary key。 视图view可以看作一种虚拟的非真实存在的集合与 SQL 中的视图类似。从 MongoDB3.4 版本开始提供了视图功能其通过聚合管道技术实现。 聚合操作$lookupMongoDB 用于实现“类似”表连接tablejoin的聚合操作符。 尽管这些概念大多与 SQL 标准定义类似但 MongoDB 与传统 RDBMS 仍然存在不少差异包括 半结构化 在一个集合中文档所拥有的字段并不需要是相同的而且也不需要对所用的字段进行声明。因此MongoDB 具有很明显的半结构化特点。除了松散的表结构文档还可以支持多级的嵌套、数组等灵活的数据类型非常契合面向对象的编程模型。 弱关系 MongoDB 没有外键的约束也没有非常强大的表连接能力。类似的功能需要使用聚合管道技术来弥补。 技术优势 MongoDB 基于灵活的 JSON 文档模型非常适合敏捷式的快速开发。与此同时其与生俱来的高可用、高水平扩展能力使得它在处理海量、高并发的数据应用时颇具优势。 JSON 结构和对象模型接近开发代码量低 JSON 的动态模型意味着更容易响应新的业务需求 复制集提供 99.999% 高可用 分片架构支持海量数据和无缝扩容 应用场景 从目前阿里云 MongoDB 云数据库上的用户看MongoDB 的应用已经渗透到各个领域 游戏场景使用 MongoDB 存储游戏用户信息用户的装备、积分等直接以内嵌文档的形式存储方便查询、更新 物流场景使用 MongoDB 存储订单信息订单状态在运送过程中会不断更新以 MongoDB 内嵌数组的形式来存储一次查询就能将订单所有的变更读取出来 社交场景使用 MongoDB 存储存储用户信息以及用户发表的朋友圈信息通过地理位置索引实现附近的人、地点等功能 物联网场景使用 MongoDB 存储所有接入的智能设备信息以及设备汇报的日志信息并对这些信息进行多维度的分析 视频直播使用 MongoDB 存储用户信息、礼物信息等 大数据应用使用云数据库 MongoDB 作为大数据的云存储系统随时进行数据提取分析掌握行业动态。 MongoDB存储原理 MongoDB从3.0开始引入可插拔存储引擎的概念。目前主要有MMAPV1、WiredTiger存储引擎可供选择。在3.2版本之前MMAPV1是默认的存储引擎,其采用linux操作系统内存映射技术但一直饱受诟病3.4以上版本默认的存储引擎是wiredTiger。 WiredTiger 写入数据的流程 应用向 MongoDB 写入数据插入、修改或删除。 数据库从内部缓存中获取当前记录所在的页块如果不存在则会从磁盘中加载Buffer I/O。 WiredTiger 开始执行写事务修改的数据写入页块的一个更新记录表此时原来的记录仍然保持不变。 如果开启了 Journal 日志则在写数据的同时会写入一条 Journal 日志Redo Log。该日志在最长不超过 100ms 之后写入磁盘。此外Journal 日志达到 100MB或是应用程序指定写操作都会触发日志的持久化。 数据库每隔 60s 执行一次 CheckPoint 操作此时内存中的修改会真正刷入磁盘。 MongoDB索引 索引通常能够极大的提高查询的效率,如果没有索引,MongoDB在读取数据时必须扫描集合中的每个文件并选取那些符合查询条件的记录。索引主要用于排序和检索 单键索引 在某一个特定的属性上建立索引,例如:db.users. createIndex({age:-1}); mongoDB在ID上建立了唯一的单键索引,所以经常会使用id来进行查询 在索引字段上进行精确匹配、排序以及范围查找都会使用此索引 复合索引 在多个特定的属性上建立索引,例如:db.users. createIndex({username:1,age:-1,country:1}); 复合索引键的排序顺序,可以确定该索引是否可以支持排序操作 在索引字段上进行精确匹配、排序以及范围查找都会使用此索引,但与索引的顺序有关 为了性能考虑,应删除存在与第一个键相同的单键索引 多键索引 在数组的属性上建立索引,例如:db.users. createIndex({favorites.city:1}); 针对这个数组的任意值的查询都会定位到这个文档,既多个索引入口或者键值引用同一个文档。 地理空间索引 在移动互联网时代基于地理位置的检索LBS功能几乎是所有应用系统的标配。MongoDB 为地理空间检索提供了非常方便的功能。地理空间索引2dsphereindex就是专门用于实现位置检索的一种特殊索引。db.users.createIndex({location : 2dsphere}) 全文索引 MongoDB 支持全文检索功能可通过建立文本索引来实现简易的分词检索。db.users.createIndex( { comments: text } )。 MongoDB 的文本索引功能存在诸多限制而官方并未提供中文分词的功能这使得该功能的应用场景十分受限。 哈希索引 不同于传统的 B-Tree 索引哈希索引使用 hash 函数来创建索引。db.users.createIndex({username : hashed}) 在索引字段上进行精确匹配但不支持范围查询不支持多键 hash。Hash 索引上的入口是均匀分布的在分片集合中非常有用。 MongoDB 索引底层实现原理分析 MongoDB 是文档型的数据库它使用BSON 格式保存数据比关系型数据库存储更方便。比如之前关系型数据库中处理用户、订单等数据要建立对应的表还要建立它们之间的关联关系。但是BSON就不一样了我们可以把一条数据和这条数据对应的数据都存入一个BSON对象中,这种形式更简单通俗易懂。MySql是关系型数据库数据的关联性是非常强的区间访问是常见的一种情况底层索引组织数据使用B树B树由于数据全部存储在叶子节点并且通过指针串在一起这样就很容易的进行区间遍历甚至全部遍历。MongoDB使用B-树所有节点都有Data域只要找到指定索引就可以进行访问单次查询从结构上来看要快于MySql。 MongoDB部署模型 在生产环境中不建议使用单机版的 MongoDB 服务器。原因如下 单机版的 MongoDB 无法保证可靠性一旦进程发生故障或是服务器宕机业务将直接不可用。 一旦服务器上的磁盘损坏数据会直接丢失而此时并没有任何副本可用。 复制集 MongoDB 复制集Replication Set由一组 MongoDB 实例进程组成包含一个 Primary 节点和多个 Secondary 节点MongoDB Driver客户端的所有数据都写入 PrimarySecondary 从 Primary 同步写入的数据以保持复制集内所有成员存储相同的数据集提供数据的高可用。复制集提供冗余和高可用性是所有生产部署的基础。它的现实依赖于两个方面的功能 数据写入时将数据迅速复制到另一个独立节点上 在复制集架构中主节点与备节点之间是通过 oplog 来同步数据的这里的 oplog 是一个特殊的固定集合当主节点上的一个写操作完成后会向 oplog 集合写入一条对应的日志而备节点则通过这个 oplog 不断拉取到新的日志在本地进行回放以达到数据同步的目的。 oplog是什么 MongoDB oplog 是 Local 库下的一个集合用来保存写操作所产生的增量日志类似于 MySQL 中 的 Binlog。 它是一个 Capped Collection固定集合即超出配置的最大值后会自动删除最老的历史数据 MongoDB 针对 oplog 的删除有特殊优化以提升删除效率。 主节点产生新的 oplog Entry从节点通过复制 oplog 并应用来保持和主节点的状态一致。 在接受写入的节点发生故障时自动选举出一个新的替代节点 MongoDB 的复制集选举使用 Raft 算法https://raft.github.io/来实现选举成功的必要条件是大多数投票节点存活。 分片集群 分片shard是指在将数据进行水平切分之后将其存储到多个不同的服务器节点上的一种扩展方式。分片在概念上非常类似于应用开发中的“水平分表”。不同的点在于MongoDB 本身就自带了分片管理的能力对于开发者来说可以做到开箱即用。 为什么要使用分片 MongoDB 复制集实现了数据的多副本复制及高可用但是一个复制集能承载的容量和负载是有限的。在你遇到下面的场景时就需要考虑使用分片了 存储容量需求超出单机的磁盘容量。 活跃的数据集超出单机内存容量导致很多请求都要从磁盘读取数据影响性能。 写 IOPS 超出单个 MongoDB 节点的写服务能力。 垂直扩容Scale Up VS 水平扩容Scale Out 垂直扩容用更好的服务器提高 CPU 处理核数、内存数、带宽等 通过增加单个服务器的能力来实现例如使用更强大的CPU增加更多的内存或存储空间量。由于现有技术的局限性不能无限制地增加单个机器的配置。此外云计算供应商提供可用的硬件配置具有严格的上限。其结果是垂直扩展有一个实际的最大值。 水平扩容将任务分配到多台计算机上 分片集群架构 MongoDB 分片集群Sharded Cluster是对数据进行水平扩展的一种方式。MongoDB 使用分片集群来支持大数据集和高吞吐量的业务场景。在分片模式下存储不同的切片数据的节点被称为分片节点一个分片集群内包含了多个分片节点。当然除了分片节点集群中还需要一些配置节点、路由节点以保证分片机制的正常运作。 本文由 mdnice 多平台发布
