吴江住房和城乡建设部网站,wordpress wp rss,网站建设的意义以及重要性,奢侈品网站排名Hive 简介 什么是Hive 1、Hive 由 Facebook 实现并开源 2、是基于 Hadoop 的一个数据仓库工具 3、可以将结构化的数据映射为一张数据库表 4、并提供 HQL(Hive SQL)查询功能 5、底层数据是存储在 HDFS 上 6、Hive的本质是将 SQL 语句转换为 MapReduce 任务运行 7、使不熟悉 MapR…Hive 简介 什么是Hive 1、Hive 由 Facebook 实现并开源 2、是基于 Hadoop 的一个数据仓库工具 3、可以将结构化的数据映射为一张数据库表 4、并提供 HQL(Hive SQL)查询功能 5、底层数据是存储在 HDFS 上 6、Hive的本质是将 SQL 语句转换为 MapReduce 任务运行 7、使不熟悉 MapReduce 的用户很方便地利用 HQL 处理和计算 HDFS 上的结构化的数据适用于离线的批量数据计算。 数据仓库之父比尔·恩门Bill Inmon在 1991 年出版的“Building the Data Warehouse”《建 立数据仓库》一书中所提出的定义被广泛接受——数据仓库Data Warehouse是一个面 向主题的Subject Oriented、集成的Integrated、相对稳定的Non-Volatile、反映历史 变化Time Variant的数据集合用于支持管理决策(Decision Making Support)。 Hive 依赖于 HDFS 存储数据Hive 将 HQL 转换成 MapReduce 执行所以说 Hive 是基于 Hadoop 的一个数据仓库工具实质就是一款基于 HDFS 的 MapReduce 计算框架对存储在 HDFS 中的数据进行分析和管理 为什么使用 Hive 直接使用 MapReduce 所面临的问题 1、人员学习成本太高 2、项目周期要求太短 3、MapReduce实现复杂查询逻辑开发难度太大 为什么要使用 Hive 1、更友好的接口操作接口采用类 SQL 的语法提供快速开发的能力 2、更低的学习成本避免了写 MapReduce减少开发人员的学习成本 3、更好的扩展性可自由扩展集群规模而无需重启服务还支持用户自定义函数 Hive 特点 优点 1、可扩展性,横向扩展Hive 可以自由的扩展集群的规模一般情况下不需要重启服务 横向扩展通过分担压力的方式扩展集群的规模 纵向扩展一台服务器cpu i7-6700k 4核心8线程8核心16线程内存64G 128G 2、延展性Hive 支持自定义函数用户可以根据自己的需求来实现自己的函数 3、良好的容错性可以保障即使有节点出现问题SQL 语句仍可完成执行 缺点 1、Hive 不支持记录级别的增删改操作但是用户可以通过查询生成新表或者将查询结 果导入到文件中当前选择的 hive-2.3.2 的版本支持记录级别的插入操作 2、Hive 的查询延时很严重因为 MapReduce Job 的启动过程消耗很长时间所以不能 用在交互查询系统中。 3、Hive 不支持事务因为不没有增删改所以主要用来做 OLAP联机分析处理而 不是 OLTP联机事务处理这就是数据处理的两大级别。 Hive 和 RDBMS 的对比 总结 Hive 具有 SQL 数据库的外表但应用场景完全不同Hive 只适合用来做海量离线数 据统计分析也就是数据仓库。 Hive的架构 从上图看出hive的内部架构由四部分组成 1、用户接口: shell/CLI, jdbc/odbc, webui Command Line Interface CLIShell 终端命令行Command Line Interface采用交互形式使用 Hive 命令行与 Hive 进行交互最常用学习调试生产 JDBC/ODBC是 Hive 的基于 JDBC 操作提供的客户端用户开发员运维人员通过 这连接至 Hive server 服务 Web UI通过浏览器访问 Hive 2、跨语言服务 thrift server 提供了一种能力让用户可以使用多种不同的语言来操纵hive Thrift 是 Facebook 开发的一个软件框架可以用来进行可扩展且跨语言的服务的开发 Hive 集成了该服务能让不同的编程语言调用 Hive 的接口 3、底层的Driver 驱动器Driver编译器Compiler优化器Optimizer执行器Executor Driver 组件完成 HQL 查询语句从词法分析语法分析编译优化以及生成逻辑执行 计划的生成。生成的逻辑执行计划存储在 HDFS 中并随后由 MapReduce 调用执行 Hive 的核心是驱动引擎 驱动引擎由四部分组成 (1) 解释器解释器的作用是将 HiveSQL 语句转换为抽象语法树AST (2) 编译器编译器是将语法树编译为逻辑执行计划 (3) 优化器优化器是对逻辑执行计划进行优化 (4) 执行器执行器是调用底层的运行框架执行逻辑执行计划 4、元数据存储系统 RDBMS MySQL 元数据通俗的讲就是存储在 Hive 中的数据的描述信息。 Hive 中的元数据通常包括表的名字表的列和分区及其属性表的属性内部表和 外部表表的数据所在目录 Metastore 默认存在自带的 Derby 数据库中。缺点就是不适合多用户操作并且数据存 储目录不固定。数据库跟着 Hive 走极度不方便管理 解决方案通常存我们自己创建的 MySQL 库本地 或 远程 Hive 和 MySQL 之间通过 MetaStore 服务交互 执行流程 HiveQL 通过命令行或者客户端提交经过 Compiler 编译器运用 MetaStore 中的元数 据进行类型检测和语法分析生成一个逻辑方案(Logical Plan)然后通过的优化处理产生 一个 MapReduce 任务。 Hive的数据组织 1、Hive 的存储结构包括数据库、表、视图、分区和表数据等。数据库表分区等等都对 应 HDFS 上的一个目录。表数据对应 HDFS 对应目录下的文件。 2、Hive 中所有的数据都存储在 HDFS 中没有专门的数据存储格式因为 Hive 是读模式 Schema On Read可支持 TextFileSequenceFileRCFile 或者自定义格式等 3、 只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符Hive 就可以解析数据 Hive 的默认列分隔符控制符 Ctrl A\x01 Hive 的 Hive 的默认行分隔符换行符 \n 4、Hive 中包含以下数据模型 database在 HDFS 中表现为${hive.metastore.warehouse.dir}目录下一个文件夹 table在 HDFS 中表现所属 database 目录下一个文件夹 external table与 table 类似不过其数据存放位置可以指定任意 HDFS 目录路径 partition在 HDFS 中表现为 table 目录下的子目录 bucket在 HDFS 中表现为同一个表目录或者分区目录下根据某个字段的值进行 hash 散 列之后的多个文件 view与传统数据库类似只读基于基本表创建 5、Hive 的元数据存储在 RDBMS 中除元数据外的其它所有数据都基于 HDFS 存储。默认情 况下Hive 元数据保存在内嵌的 Derby 数据库中只能允许一个会话连接只适合简单的 测试。实际生产环境中不适用为了支持多用户会话则需要一个独立的元数据库使用 MySQL 作为元数据库Hive 内部对 MySQL 提供了很好的支持。 6、Hive 中的表分为内部表、外部表、分区表和 Bucket 表 内部表和外部表的区别 删除内部表删除表元数据和数据 删除外部表删除元数据不删除数据 内部表和外部表的使用选择 大多数情况他们的区别不明显如果数据的所有处理都在 Hive 中进行那么倾向于 选择内部表但是如果 Hive 和其他工具要针对相同的数据集进行处理外部表更合适。 使用外部表访问存储在 HDFS 上的初始数据然后通过 Hive 转换数据并存到内部表中 使用外部表的场景是针对一个数据集有多个不同的 Schema 通过外部表和内部表的区别和使用选择的对比可以看出来hive 其实仅仅只是对存储在 HDFS 上的数据提供了一种新的抽象。而不是管理存储在 HDFS 上的数据。所以不管创建内部 表还是外部表都可以对 hive 表的数据存储目录中的数据进行增删操作。 分区表和分桶表的区别 Hive 数据表可以根据某些字段进行分区操作细化数据管理可以让部分查询更快。同 时表和分区也可以进一步被划分为 Buckets分桶表的原理和 MapReduce 编程中的 HashPartitioner 的原理类似。 分区和分桶都是细化数据管理但是分区表是手动添加区分由于 Hive 是读模式所 以对添加进分区的数据不做模式校验分桶表中的数据是按照某些分桶字段进行 hash 散列 形成的多个文件所以数据的准确性也高很多 转载于:https://www.cnblogs.com/qingyunzong/p/8707885.html
