微网站首页模板,温州网站推广外包,优秀网站设计欣赏,网页设计html代码可以查重吗Hive通俗的特性
结构化数据文件变为数据库表sql查询功能sql语句转化为MR运行建立在hadoop的数据仓库基础架构使用hadoop的HDFS存储文件实时性较差#xff08;应用于海量数据#xff09;存储、计算能力容易拓展#xff08;源于Hadoop#xff09;
支持这些特性的架构
CLI应用于海量数据存储、计算能力容易拓展源于Hadoop
支持这些特性的架构
CLIcommand line interface、JDBC/ODBC、Thrift Server、WEB GUI、metastore和Driver(Complier、Optimizer和Executor)
服务端
Driver包括了Complier、Optimizer和Executor。将Hive sql解析编译优化生成执行计划Metastore存储hive元数据描述数据的数据比如一行数据里面单个数据的名字叫啥类型是啥注释是啥以及表本身的框架 解耦hive服务和metastore服务Thrift可扩展且跨语言的服务的开发hive集成服务支持不同编程语言调用hive的接口、
客户端
CLI 命令行接口Thrift客户端 hive架构的接口基于thrift客户端如 JDBC 面向java的连接 ODBC 开放数据连接WEBGUI网页访问Hive服务接口
Hive执行MR的过程
User Interface用executeQuery接口hql发送给Driverdriver生成 session handle, 并发送给CompilerCompiler从metastore获取元数据元数据检查类型后对为此调整分区生成计划Compiler生成DAG每个stage都可能涉及M/R job 元数据操作 HDFS文件操作每个M/R中查询结果以临时文件方式放在HDFS中临时文件由Execution Engine从HDFS读取作为Driver返回内容
特点
Hive加载数据的时候不对数据检查关系型是检查的若加载数据不符合模式会拒绝执行称之为写时模式也不更改加载的数据文件查询的时候检查数据格式读时模式 写时模式加载过程中索引数据会压缩加载数据较慢。数据加载好后查询较快读时模式适用于数据非结构化存储模式未知的情况 hive不支持对特定行的操作只支持覆盖原数据和追加数据hive不支持事务索引hive的更新操作为原表数据转化后存在新表hive支持和hbase集成实现快速查询但需要提供sql语法解析外壳hive可认为是MR的包装
Spark通俗的特性
兼容hive
组件
SQLContext封装spark关系型功能DataFrame分布式命名列阻止的数据集合可转化为RDD支持已有的RDD、结构化数据文件、JSON数据集、Hive表、外部数据库创建DF
sql运行架构
sql语句进行解析判断出表达式projectiondatasource等projection可以理解为select的列的集合sql语句和数据字典列table view绑定。选出最优的执行计划按Operation datasource result次序执行可以不读取物理表读取缓冲池返回结果
Hive on MR 与 SparkSql区别
两者基本相同但sql解析器不一样spark做了较多优化
Hivespark场景离线非实时实时要求高速度快的场景速度慢快比传统MR块10-100倍
表
表的元数据存储在什么地方
内存数据库derby快轻量不稳定MySql数据库 持久化好
建表方式
直接建表查询建表通过select得到的结果生成新的表like建表无数据结构一致
表的分类
内部表外部表
默认创建内部表创建外部表需要加上external关键字修饰还可通过location指定Hive仓库的路径
区别
内部表外部表drop删除元数据和文件只删除元数据load数据移动到指定路径不移动到数据仓库目录下
优先使用外部表
不删除数据方便数据恢复不加载数据到hive减少数据传输不对HDFS数据修改
数据处理都用hql完成的话选择内部表
