爱站seo,软文广告经典案例600,最专业的做音乐网站,固镇做网站多少钱作者#xff1a;振鹭
一、参数配置#xff1a;
在Map输入的时候, 把小文件合并。
-- 每个Map最大输入大小#xff0c;决定合并后的文件数
set mapred.max.split.size256000000;
-- 一个节点上split的至少的大小 #xff0c;决定了多个data node上的文件是否需要合并
set…作者振鹭
一、参数配置
在Map输入的时候, 把小文件合并。
-- 每个Map最大输入大小决定合并后的文件数
set mapred.max.split.size256000000;
-- 一个节点上split的至少的大小 决定了多个data node上的文件是否需要合并
set mapred.min.split.size.per.node100000000;
-- 一个交换机下split的至少的大小决定了多个交换机上的文件是否需要合并
set mapred.min.split.size.per.rack100000000;
-- 执行Map前进行小文件合并
set hive.input.formatorg.apache.hadoop.hive.ql.io.CombineHiveInputFormat;在Reduce输出的时候, 把小文件合并。
-- 在map-only job后合并文件默认true
set hive.merge.mapfiles true;
-- 在map-reduce job后合并文件默认false
set hive.merge.mapredfiles true;
-- 合并后每个文件的大小默认256000000
set hive.merge.size.per.task 256000000;
-- 平均文件大小是决定是否执行合并操作的阈值默认16000000
set hive.merge.smallfiles.avgsize 100000000;Hadoop的归档文件格式。
set hive.archive.enabled true ;
set hive.archive.har.parentdir.settable true ;
set har.partfile.size1099511627776;
ALTER TABLE srcpart ARCHIVE PARTITION(ds 2008-04-08 , hr 12 );
ALTER TABLE srcpart UNARCHIVE PARTITION(ds 2008-04-08 , hr 12 );二、sql合并
concatenate
--对于非分区表
alter table tablename concatenate;
--对于分区表
alter table tablename partition(dt20201224) concatenate;insert overwrite
--select 的字段需要自己拼起来select * 的话由于带有dt字段无法写入新分区。
insert overwrite table tableName partition(dt2022031100)
select
column1,column2
from
tableName
where dt2022031100insert overwrite select *
--用这个方法就能去掉分区表的日期字段
set hive.support.quoted.identifiersnone;
insert overwrite test1 select (字段)?. from test;更多技术信息请查看云掣官网https://yunche.pro/?tyrgw
