单页面网站 wordpress,湖北营销型网站建设,福州网络推广,wordpress网站嵌入音乐一 hive 是什么 在本节前我们需要明确 hive 是什么
上面两个代码块#xff0c;左边的是 mapreduce 的代码块#xff0c;右边的是hive 的代码块
很容易看出来#xff0c;右边的 hive 写起来要更容易更快些#xff0c;而执行效率#xff0c;右边的 hive 只比左边多一个翻译…一 hive 是什么 在本节前我们需要明确 hive 是什么
上面两个代码块左边的是 mapreduce 的代码块右边的是hive 的代码块
很容易看出来右边的 hive 写起来要更容易更快些而执行效率右边的 hive 只比左边多一个翻译的过程就是将写的 HQL语句 翻译成 mapreduce 去执行
简单来说 hive 就是一个中间件可以让我们写的 HQL 语句可以被翻译成 mapreduce去执行让我们不必再去写 mapreduce 的代码提升我们的开发效率 二 Hive的优势和特点
提供了一个简单的优化模型HQL类SQL语法简化MR开发支持在不同的计算框架上运行支持在HDFS和HBase上临时查询数据支持用户自定义函数、格式常用于ETL操作和BI 稳定可靠真实生产环境的批处理有庞大活跃的社区 三 Hive的发展里程碑和主流版本
Hive发展历史及版本
07年8月 – 始于Facebook13年5月 – 0.11 Stinger Phase 1 ORC HiveServer213年10月 – 0.12.0 Stinger Phase 2 - ORC improvement14年4月 – Hive 0.13.0 as Stinger Phase 314年11月 – Hive 0.14.015年2月 – Hive 1.0.015年5月 – Hive 1.2.0 1.2.1 本系列课实验重点版本 )16年2月 – Hive 2.0.0 (添加 HPLSQL, LLAP)16年6月 – Hive 2.1.0 四 Hive元数据管理
记录数据仓库中模型的定义、各层级间的映射关系存储在关系数据库中 默认Derby, 轻量级内嵌SQL数据库 Derby非常适合测试和演示存储在.metastore_db目录中实际生产一般存储在MySQL中 修改配置文件hive-site.xmlHCatalog 将Hive元数据共享给其他应用程序 五 Hive环境搭建
环境准备 安装jdk、hadoop、mysql元数据管理使用主要步骤 下载并解压配置环境变量修改配置文件配置hive元数据管理启动验证
安装 hive 查看
在 linux 虚拟机上安装配置 hive_超爱慢的博客-CSDN博客 六 hive 架构 七 Hive操作-命令行模式
有两种客户端工具Beeline和Hive命令行CLI有两种模式命令行模式和交互模式命令行模式 八 Hive操作-窗口交互模式 九 Hive操作-客户端交互模式
检查Hive服务是否已经正常启动使用Hive交互方式输入hive即可使用beeline 需启动hiveserver2服务 nohup hive --service metastore 非必须nohup hive --service hiveserver2 输入beeline进入beeline交互模式 !connect jdbc:hive2://hadoop101:10000
