企业做pc网站需要什么资料,企业网站建设的要素有哪些,宣威网站建设公司,长沙网站关键词排名公司1. 前言
如果要深入了解Apache Hudi技术的应用或是性能调优#xff0c;那么明白源码中的原理对我们会有很大的帮助。Upsert是Apache Hudi的核心功能之一#xff0c;主要完成增量数据在HDFS/对象存储上的修改#xff0c;并可以支持事务。而在Hive中修改数据需要重新分区或重…1. 前言
如果要深入了解Apache Hudi技术的应用或是性能调优那么明白源码中的原理对我们会有很大的帮助。Upsert是Apache Hudi的核心功能之一主要完成增量数据在HDFS/对象存储上的修改并可以支持事务。而在Hive中修改数据需要重新分区或重新整个表但是对于Hudi而言更新可以是文件级别的重写或是数据先进行追加后续再重写对比Hive大大提高了更新性能。upsert支持两种模式的写入Copy On Write和Merge On Read 下面本文将介绍Apache Hudi 在Spark中Upsert的内核原理。
2. Upsert场景执行流程介绍
对于Hudi Upsert 操作整理了比较核心的几个操作如下图所示检查上次事务失败后进行回滚操作 1开始提交判断上次任务是否失败如果失败会触发回滚操作。 然后会根据当前时间生成一个事务开始的请求标识元数据。 2构造HoodieRecord Rdd对象Hudi 会根据元数据信息构造HoodieRecord Rdd 对象方便后续数据去重和数据合并。 3数据去重:一批增量数据中可能会有重复的数据Hudi会根据主键对数据进行去重避免重复数据写入Hudi 表。 4数据fileId位置信息获取:在修改记录中可以根据索引获取当前记录所属文件的fileid在数据合并时需要知道数据update操作向那个fileId文件写入新的快照文件。 5数据合并Hudi 有两种模式cow和mor。在cow模式中会重写索引命中的fileId快照文件在mor 模式中根据fileId 追加到分区中的log 文件。 6完成提交在元数据中生成xxxx.commit文件只有生成commit 元数据文件查询引擎才能根据元数据查询到刚刚upsert 后的数据。 7compaction压缩主要是mor 模式中才会有他会将mor模式中的xxx.log 数据合并到xxx.parquet 快照文件中去。 8hive元数据同步hive 的元素数据同步这个步骤需要配置非必需操作主要是对于hive 和presto 等查询引擎需要依赖hive 元数据才能进行查询所以hive元数据同步就是构造外表提供查询。 介绍完Hudi的upsert运行流程再来看下Hudi如何进行存储并且保证事务在每次upsert完成后都会产生commit 文件记录每次重新的快照文件。
例如上图
时间1初始化写入三个分区文件分别是xxx-1.parquet
时间3场景如果会修改分区1和分区2xxx-1.parquet的数据那么写入完成后会生成新的快照文件分别是分区1和分区2xxx-3.parquet文件。上述是COW模式的过程而对于MOR模式的更新会生成log文件如果log文件存在并且可追加则继续追加数据。
时间5修改分区1的数据那么同理会生成分区1下的新快照文件。
可以看出对于Hudi 每次修改都是会在文件级别重新写入数据快照。查询的时候就会根据最后一次快照元数据加载每个分区小于等于当前的元数据的parquet文件。Hudi事务的原理就是通过元数据mvcc多版本控制写入新的快照文件在每个时间阶段根据最近的元数据查找快照文件。因为是重写数据所以同一时间只能保证一个事务去重写parquet 文件。不过当前Hudi版本加入了并发写机制原理是Zookeeper分布锁控制或者HMS提供锁的方式 会保证同一个文件的修改只有一个事务会写入成功。
下面将根据Spark 调用write方法深入剖析upsert操作每个步骤的执行流程。
2.1 开始提交数据回滚
在构造好spark 的rdd 后会调用 df.write.format(hudi) 方法执行数据的写入实际会调用Hudi源码中的HoodieSparkSqlWriter#write方法实现。在执行任务前Hudi 会创建HoodieWriteClient 对象并构造HoodieTableMetaClient调用startCommitWithTime方法开始一次事务。在开始提交前会获取hoodie 目录下的元数据信息判断上一次写入操作是否成功判断的标准是上次任务的快照元数据有xxx.commit后缀的元数据文件。如果不存在那么Hudi 会触发回滚机制回滚是将不完整的事务元数据文件删除并新建xxx.rollback元数据文件。如果有数据写入到快照parquet 文件中也会一起删除。 2.2 构造HoodieRecord Rdd 对象
HoodieRecord Rdd 对象的构造先是通过map 算子提取spark dataframe中的schema和数据构造avro的GenericRecords Rdd然后Hudi会在使用map算子封装为HoodierRecord Rdd。对于HoodileRecord Rdd 主要由currentLocation,newLocation,hoodieKey,data 组成。HoodileRecord数据结构是为后续数据去重和数据合并时提供基础。 currentLocation 当前数据位置信息只有数据在当前Hudi表中存在才会有主要存放parquet文件的fileId构造时默认为空在查找索引位置信息时被赋予数据。
newLocation 数据新位置信息与currentLocation不同不管是否存在都会被赋值newLocation是存放当前数据需要被写入到那个fileID文件中的位置信息构造时默认为空在merge阶段会被赋予位置信息。
HoodieKey 主键信息主要包含recordKey 和patitionPath 。recordkey 是由hoodie.datasource.write.recordkey.field 配置项根据列名从记录中获取的主键值。patitionPath 是分区路径。Hudi 会根据hoodie.datasource.write.partitionpath.field 配置项的列名从记录中获取的值作为分区路径。
data 数据data是一个泛型对象泛型对象需要实现HoodieRecordPayload类主要是实现合并方法和比较方法。默认实现OverwriteWithLatestAvroPayload类需要配置hoodie.datasource.write.precombine.field配置项获取记录中列的值用于比较数据大小去重和合并都是需要保留值最大的数据。
2.3 数据去重
在upsert 场景中数据去重是默认要做的操作如果不进行去重会导致数据重复写入parquet文件中。当然upsert 数据中如果没有重复数据是可以关闭去重操作。配置是否去重参数为hoodie.combine.before.upsert默认为true开启。 在Spark client调用upsert 操作是Hudi会创建HoodieTable对象并且调用upsert 方法。对于HooideTable 的实现分别有COW和MOR两种模式的实现。但是在数据去重阶段和索引查找阶段的操作都是一样的。调用HoodieTable#upsert方法底层的实现都是SparkWriteHelper。
在去重操作中会先使用map 算子提取HoodieRecord中的HoodieatestAvroPayload的实现是保留时间戳最大的记录。这里要注意如果我们配置的是全局类型的索引map 中的key 值是 HoodieKey 对象中的recordKey。因为全局索引是需要保证所有分区中的主键都是唯一的避免不同分区数据重复。当然如果是非分区表没有必要使用全局索引。
2.4 数据位置信息索引查找
对于Hudi 索引主要分为两大类
非全局索引索引在查找数据位置信息时只会检索当前分区的索引索引只保证当前分区内数据做upsert。如果记录的分区值发生变更就会导致数据重复。
全局索引顾名思义在查找索引时会加载所有分区的索引用于定位数据位置信息即使发生分区值变更也能定位数据位置信息。这种方式因为要加载所有分区文件的索引对查找性能会有影响HBase索引除外。 Spark 索引实现主要有如下几种 布隆索引BloomIndex 全局布隆索引GlobalBloomIndex 简易索引SimpleIndex 简易全局索引GlobalSimpleIndex 全局HBase 索引(HbaseIndex) 内存索引(InMemoryHashIndex)。 下面会对索引的实现方式做一一介绍。
2.4.1 布隆索引BloomIndex
Spark 布隆索引的实现类是SparkHoodieBloomIndex要想知道布隆索引需要了解下布隆算法一般用于判断数据是否存在的场景在Hudi中用来判断数据在parquet 文件中是否存在。其原理是计算RecordKey的hash值然后将其存储到bitmap中去key值做hash可能出现hash 碰撞的问题为了较少hash 值的碰撞使用多个hash算法进行计算后将hash值存入BitMap一般三次hash最佳但是索引任然有hash 碰撞的问题但是误判率极低可以保证99%以上的数据判断是正确的。即使有个别数据发生了误判也没有关系在合并操作中如果匹配不到也会被丢弃。 索引实现类调用tagLocation开始查找索引记录存在哪个parquet 文件中步骤如下
提取所有的分区路径和主键值然后计算每个分区路径中需要根据主键查找的索引的数量。
有了需要加载的分区后调用LoadInvolvedFiles 方法加载分区下所有的parquet 文件。在加载paquet文件只是加载文件中的页脚信息页脚存放的有布隆过滤器、记录最小值、记录最大值。对于布隆过滤器其实是存放的是bitmap序列化的对象。
加载好parquet 的页脚信息后会根据最大值和最小值构造线段树。
根据Rdd 中RecordKey 进行数据匹配查找数据属于那个parqeut 文件中对于RecordKey查找只有符合最大值和最小值范围才会去查找布隆过滤器中的bitmap RecordKey小于最小值找左子树RecordKey大于最大值的key找右子树。递归查询后如果查找到节点为空说明RecordKey在当前分区中不存在当前Recordkey是新增数据。查找索引时spark会自定义分区避免大量数据在一个分区查找导致分区数据倾斜。查找到RecordKey位置信息后会构造 Rdd 对象。
线段树的数据结构如下 以 Rdd 为左表和Rdd 做左关联提取HoodieRecordLocation位置信息赋值到HoodieRecord 的currentLocation变量上,最后得到新的HoodieRecord Rdd。在HoodieRecordLocation对象中包含文件fileID 和快照时间。
说明Parquet 文件名称组成主要是36位fileId、文件编号、spark 任务自定义分区编号、spark 任务stage 编号、spark 任务attempt id、commit时间。 2.4.2 全局布隆索引GlobalBloomIndex
全局布隆索引底层算法和布隆索引一样只是全局布隆索引在查找每个RecordKey 属于那个parquet 文件中会加载所有parquet文件的页脚信息构造线段树然后在去查询索引。
因为Hudi需要加载所有的parquet文件和线段树节点变多对于查找性能会比普通的布隆索引要差。但是对于分区字段的值发生了修改如果还是使用普通的布隆索引会导致在当前分区查询不到当成新增数据写入Hudi表。这样我们的数据就重复了在很多业务场景是不被允许的。所以在选择那个字段做分区列时尽量选择列值永远不会发生变更的这样我们使用普通布隆索引就可以了。 2.5 数据合并
COW模式和MOR模式在前面的操作都是一样的不过在合并的时候Hudi构造的执行器不同。对于COW会根据位置信息中fileId 重写parquet文件在重写中如果数据是更新会比较parquet文件的数据和当前的数据的大小进行更新完成更新数据和插入数据。而MOR模式会根据fileId 生成一个log 文件将数据直接写入到log文件中如果fileID的log文件已经存在追加数据写入到log 文件中。与COW 模式相比少了数据比较的工作所以性能要好但是在log 文件中可能保存多次写有重复数据在读log数据时候就不如cow模式了。还有在mor模式中log文件和parquet 文件都是存在的log 文件的数据会达到一定条件和parqeut 文件合并。所以mor有两个视图ro后缀的视图是读优化视图read-optimized只查询parquet 文件的数据。rt后缀的视图是实时视图real-time查询parquet 和log 日志中的内容。
2.5.1 copy on write模式
COW模式数据合并实现逻辑调用BaseSparkCommitActionExecutor#excute方法实现步骤如下
