怎么做下载网站吗,分析一个网站,wordpress前台压缩图片,烟台建设协会网站什么是数据库#xff1f;
这个问题相信对学编程的朋友们来说过于简单了#xff0c;大家想必都是增删改查的好手。
但如果让你说出 10 种不同类型的数据库#xff0c;阁下该如何应对#xff1f;
这篇文章#xff0c;是对数据库技术的一个小科普#xff0c;希望能帮大家…什么是数据库
这个问题相信对学编程的朋友们来说过于简单了大家想必都是增删改查的好手。
但如果让你说出 10 种不同类型的数据库阁下该如何应对
这篇文章是对数据库技术的一个小科普希望能帮大家了解到更多元化的数据库便于拓宽学习思路和项目的技术选型。
关系型数据库
首先是我们接触最多的、也是入门后端必学的 关系型数据库 。
在关系型数据库中数据以 表 的形式进行组织和存储每个表就像一个 Excel 表格包含多个 行 和多个 列 。
就比如我们经典的学生管理系统把学生信息存储到关系型数据库中结构大概是这样的
学号学生姓名所属班级号1小李12小鱼23小皮3
上述学生表格中每一行代表一个学生的信息每一列代表学生的一个属性。我们可以使用结构化查询语言 SQL 来对关系型数据库表的数据进行灵活地查询、选择、过滤等。
而关系型数据库最大的特点就是表和表之间可以 存在关系 。比如学生管理系统中还可以有班级表结构如下
班号班级名称1快乐班2泰酷班3躺平班
那如果我想知道某个学生所属的班级信息只需要在查询时将学生表的 所属班级号 和班级表的 班号 进行关联而不用把所有表格的列存储在一起非常灵活。
通过 SQL 可以连接查询多张表得到下面的查询结果
学号学生姓名所属班级号班级名称1小李1快乐班2小鱼2泰酷班3小皮3躺平班
除了查询灵活、数据表间存在关系外关系型数据库还具有很多其他的优点。
比较重要的是 数据一致性 关系型数据库遵循 ACID 原则原子性、一致性、隔离性和持久性支持事务可以保证多个操作同时进行时数据的状态保持一致。比如 A 给 B 转账A 扣钱 的同时 B 也会加钱不会出现 A 扣了钱 B 却没收到钱的情况。
兼顾查询的灵活和写入的准确性使得关系型数据库几乎可以被应用于任何项目中比如 CRM客户关系管理和 HRM人力资源管理等各类管理系统、数据分析系统、金融银行系统等。
比较经典的关系型数据库产品有 MySQL、Oracle、PostgreSQL、Microsoft SQL Server 等。其中MySQL 由于开源又易学已经成为后端开发同学必学的数据库技术。
关系型数据库的底层核心实现是 基于关系模型的数学理论 最常见的实现方式是使用 B 树来存储索引结构基于其平衡性能够在存储大量数据时保持高效的查询性能并且兼顾增删改操作的性能。 对于大多数项目用 MySQL 等关系型数据库来存储数据就足够了。但关系型数据库不是银弹在某些场景下比如要存储的数据间没有关系时它并不是最佳的选择。
举个例子当我们要写一篇文章没有必要把数据存储到 Excel 表格里可能直接将单篇文本放到 Word 里会更方便阅读和修改。
这个时候我们就需要与之互补的 非关系型数据库。
非关系型数据库
非关系型数据库又叫 NoSQL。最简单的理解方式关系型数据库适用于存储相互之间 存在关系的数据表 那么非关系型数据库适用于关系不强的、结构相对灵活的、需要被快速访问的数据比如字符串、JSON 等。
实际项目开发中最常用的非关系型数据库当属 KV 数据库。
KV 即 Key-Value数据是以 键值对 的方式存储在数据库中的。可以理解为一个 HashMap数据库中存储的每个键都 唯一对应 一个值。键和值都可以是任意类型的数据例如字符串、数字、数组等非常灵活。
比如存储每位用户的个人信息结构大概是这样的 由于 KV 存储的结构简单清晰我们能够很轻松地根据某个键查找出对应的值无论是读写数据性能都非常高。
此外KV 数据库还具备良好的可扩展性由于数据间不存在直接关联我们可以把键值对放到多个机器上存储通过数据分片、负载均衡等策略来支持海量数据的高并发访问。
由于高性能和高可扩展性KV 数据库被广泛应用于缓存、分布式会话、分布式锁、实时统计等场景。
最经典的 KV 数据库当属 Redis 了它是开源的、基于内存的、高性能的数据库不仅支持丰富的数据类型和功能还有持久化等重要特性也是后端同学必学的技术。其他的常用 KV 数据库有 LevelDB、RocksDB、Apache Cassandra 等。
KV 数据库的底层实现比较灵活常见的实现方式是使用哈希表来存储键值对。不同类型的值对应的实现方式也不同比如 Redis 的字符串存储采用简单动态字符串SDS实现。 解决特定问题的数据库
相信很多同学对数据库的印象就停留在 MySQL 和 Redis。的确以上两类数据库几乎已经可以解决所有问题
但是未必是最适合的。
就像你完全可以用电脑自带的记事本软件来查看和编辑 HTML 网页文件但是往往会选择一个更专业的开发工具来替代它。
数据库也是一样除了传统的关系和非关系型数据库之外还有很多用于解决特定问题的数据库。它们往往针对特定的数据结构和应用场景进行了专门的优化和设计能够提供更高效快捷的数据查询和存储满足特定领域的需求。
比如下面 8 种数据库
搜索引擎数据库
顾名思义搜索引擎数据库是为了实现搜索引擎功能的数据库。
它适用于存储和管理大量的文本内容数据并提供更快速、准确、灵活的全文检索功能。
比如想要让用户更轻松地在你的博客内搜索文章就可以使用搜索引擎数据库。
为什么它能做到更快更灵活的搜索呢这是因为在搜索引擎数据库中数据一般是以 倒排索引 的方式存储的。
倒排索引和传统的关系表有什么区别呢
以存储博客文档为例传统的关系型数据库存储结构是
文档 id文档内容1感谢关注鱼皮2鱼皮是一名程序员3感谢关注屑老板不破产
我们能够根据 id 来查找到对应的单篇文档也可以通过搜索精确的关键词来查找到多篇文档。
比如搜索 “鱼皮”能搜出文档 1、2。
但是如果你搜索 “鱼皮程序员”是无法得到搜索结果的因为没有任何一个文档的内容完全包含 “鱼皮程序员” 这个词文档内容 2 只有 “鱼皮”、“程序员” 这两个词。
而在搜索引擎数据库中首先会将文档内容按照单词进行分割也就是 分词 。然后再构建单词到文档 id 的映射示例结构如下
单词文档 id感谢1, 3关注1, 3鱼皮1, 2程序员2
有了上述的倒排索引当用户搜索 “鱼皮程序员” 时搜索引擎数据库会先对搜索词进行分词得到 “鱼皮” 和 “程序员”然后根据这两个词汇就能找到文档 id 1、2 了。不用再去遍历表内所有的数据实现了更灵活、快速的 模糊搜索 。
此外搜索引擎数据库还支持 相关性排序 能够根据用户的搜索词对所有搜索结果进行打分把最接近的文档排到最上面。
主流的搜索引擎数据库技术有 Elasticsearch、Apache Solr、Apache Lucene 等一般更建议大家学习 Elasticsearch这玩意更新迭代地老快了。
文档数据库
顾名思义文档数据库适用于存储和管理 半结构化的 文档数据比如存储 JSON 格式。
相比于关系型数据库中明确定义的表格行列文档数据库的数据结构是类似于文档的层次化结构每个文档都是独立的可以包含多个不同类型和格式的数据。
比如存储博客文章示例结构如下
文档 ID文档数据1{_id: 1, title: 文章标题1, content: 这是文章1的内容}2{_id: 2, title: 文章标题2, author: 程序员鱼皮}
当我们要给某个文档新增一个字段时不需要像关系型数据库一样改变表结构非常灵活
除了灵活之外文档数据库也有很高的可扩展性适用于内容管理系统比如博客、文档协同编辑系统等。
个人比较推荐学习的文档数据库是 MongoDB入门难度极低对前端同学也很友好。当然Couchbase 也是不错的。
时序数据库
时序数据库是一种专门用于高效存储和处理 时间序列 的数据库系统。
时间序列是指以时间作为主要维度的数据序列即每个数据单元都包含 时间戳 。
举个例子在实时温度监测系统中我们需要 每分钟连续 收集并观察当前的温度数据结构示例如下
时间戳设备ID温度值2023-07-01 10:00Device00125.52023-07-01 10:01Device00125.72023-07-01 10:02Device00125.82023-07-01 10:03Device00126.22023-07-01 10:04Device00126.52023-07-01 10:05Device00126.3
有了这些数据我们就能够按照时间范围进行高效查询、聚合分析、数据可视化。
因此时序数据库非常适用于物联网比如传感器数据、日志监控、金融交易数据分析等场景。
主流的时序数据库技术有 InfluxDB、TimescaleDB 等。一般情况下建议将时序数据库配合 Grafana 监控看板一起使用实现数据存储 快速可视化。 不同时序数据库底层的存储方式也不同我们可以简单理解为时序数据库会根据 时间 字段构建索引查询时通过索引去定位实际数据。比如 InfluxDB 使用 TSMTime-Structured Merge Tree作为存储引擎底层使用 B 树来存储时间索引。
向量数据库
向量数据库是专门用于存储和处理 高维向量数据 的数据库系统。
什么是向量每个向量可以表示一个实体并且包含多个维度的数值。
举个例子在人脸识别系统中我们可以通过人脸的 特征 来判断是否为熟人。每张人脸图像都对应一个向量每个人脸向量有可能包含成百上千个特征比如鼻子大小、眼睛大小等每个特征就是一个维度。
对应的数据结构示例如下
人脸 ID人脸特征向量1[0.1, 0.2, 0.3, ..., 0.5]2[0.1, 0.3, 0.2, ..., 0.4]
在上述表格中人脸特征向量是一个浮点数数组。数组的每个下标就表示一个特征维度比如下标 0 的数值表示鼻子的大小下标 1 的数值表示眼睛大小以此类推。。。
我们只需要对比向量就能够判断出人脸的相似度。
向量数据库能够高效存储多维向量数据、计算向量的相似度、并实现各种不同算法的相似性搜索适用于图像识别、特征提取和匹配、推荐系统等场景。值得一提的是AI 技术的发展也带来了一波向量数据库技术的热潮可以利用向量数据库存储投喂给 AI 的训练 Embeddings 数据。
主流的向量数据库技术有 Milvus、Pinecone、Faiss 等有些数据库比如 PostgreSQL可能也支持存储向量类型的字段。
关于向量数据库的底层实现还是比较复杂的。类似于上面提到的时序数据库向量数据库的实现关键也是索引的设计。常见的向量索引结构有倒排索引、KD 树、球树等可以理解为对相似的向量数据进行了分组和编码从而实现更快速地检索匹配相似向量。此外向量数据库往往也会采用并行计算来加速处理。
空间数据库
空间数据库是专门用于存储和处理 地理空间数据 的数据库系统。
地理空间数据是指基于地理 坐标系 的 几何对象 比如某个物体所处的经纬度或三维坐标点、某个物体的轮廓线、某个物体的表面面等。
举个例子假如你想存储自己房间内每个物体的位置信息对应的数据结构可能是
物体 IDX 坐标Y 坐标Z 坐标12.53.01.821.04.22.333.72.11.5
使用空间数据库能够高效地存储、查询和分析空间数据比如计算两个空间是否相交、对路径进行规划、可视化地理空间等。
空间数据库不仅是地理信息系统GIS的核心组件还能用于实现位置导航、城市路面规划等场景。
对于具体的空间数据库技术我了解得不多只知道可以用 PostGIS 插件来为 PostgreSQL 支持空间数据管理能力朋友们可以帮忙补充下。 至于空间数据库的底层实现最关键的部分依然是索引。常见的 空间索引 结构有 R 树、Quadtree 等这些结构可以对空间数据进行划分、聚合和编码从而加速空间范围的查询处理。此外空间数据库涉及大量的空间分析算法比如最近邻查询、空间关系查询等。时间有限不做展开说明了。
图形数据库
图形数据库是专门用于存储和处理 图形结构数据 的数据库系统。
注意这里的图形可不是三角形、长方形而是指 由节点和边构成 的图形结构。
比如我们要存储一个朋友圈关系网即 FoF朋友的朋友对应的图形可能是 上图中每个用户可以表示为一个节点用户之间的好友关系可以表示为边。
在图形数据库中需要 2 个表格来存储。
节点信息表
节点 id节点名1小王2小李3小刘
边信息表
边 id边类型起始节点结束节点1好友122好友13
通过存储这些节点和边的信息图形数据库就能实现快速 查询及分析 朋友圈网中的用户关系并且挖掘出用户的社交情况、和其他用户的隐藏关系等。
由此图形数据库非常适于构建社交网络关系图谱、推荐系统、知识图谱等。
比较主流的图形数据库有 Neo4j、TigerGraph 等都支持复杂的图形操作和算法、以及分布式扩展能够通过并行计算加速图形处理。
图形数据库的核心实现相信学过算法的朋友们并不陌生主要是用了类似邻接表、邻接矩阵等方式实现节点和边数据的存储并且通过构建图形索引进行加速。
列存数据库
这是一种 非常主流 的数据库区别于传统的行式数据库列存数据库以列作为基本的存储单位把每列的数据存储在一起。
拿鱼皮公司每天的收入来举个例子传统的行式关系型数据库是这么存储的
日期销售额成本利润2022-01-01500600-1002022-01-02280450-1702022-01-03290480-190
而在列存数据库中底层大概是这么存储的相当于对矩阵做了一次转置
日期2022-01-012022-01-022022-01-03销售额500280290成本600450480利润-100-170-190
这样一来如果我们要统计这几天公司的总利润不需要依次读取每一行的数据直接 读取所需 的利润那一列进行计算即可从而提高了数据分析和聚合操作的效率。
此外从计算机底层来分析把相同类型的数据在同一列中连续存储可以实现更好的数据压缩效果、节约空间。
因此列存数据库适用于实时数据分析、OLAP、大规模数据仓库等场景。
比较主流的列存数据库技术有 Apache HBase、ClickHouse、Druid 等都是大数据方向同学的必修课。 ClickHouse 官方演示
多模数据库
最后要讲的数据库也最特别区别于上面所有存储单一数据模型的数据库多模数据库能够 同时存储处理多种不同类型的数据 比如关系型数据、文档数据、图形数据等非常灵活。
就拿大家学编程时最常做的电商系统来举例。如果没有多模数据库你要用关系型数据库来存储商品简略信息比如商品名称、价格要用文档数据库来存储可能长达几十页的商品详情要用图数据库来存储商品推荐关系。每次看数据库信息时要分别到三个数据库中查看。
如果使用多模数据库可以直接在同一个数据库里统一存储和管理不同类型的数据非常方便。
此外多模数据库还支持事务能够更轻松地实现数据的一致性和完整性不需要手动实现跨库事务、跨库数据同步等等。
比较常用的多模态数据库技术有 ArangoDB、OrientDB 等不过一般情况下我们在开发中也很少会用到这种数据库感兴趣的话再学习即可。
