网站建设免费ppt,页面设计英文翻译,小程序开发需要服务器吗,徐州优化网站建设一个hive任务#xff0c;如何才算是优化的任务#xff0c;hadoop job config里哪些配置能影响hive的效率。看看hive的详细配置我们可以略知一二。hive的配置#xff1a;hive.ddl.output.format#xff1a;hive的ddl语句的输出格式#xff0c;默认是text#xff0c;纯文本…一个hive任务如何才算是优化的任务hadoop job config里哪些配置能影响hive的效率。看看hive的详细配置我们可以略知一二。hive的配置hive.ddl.output.formathive的ddl语句的输出格式默认是text纯文本还有json格式这个是0.90以后才出的新配置hive.exec.script.wrapperhive调用脚本时的包装器默认是null如果设置为python的话那么在做脚本调用操作时语句会变为python hive.exec.planhive执行计划的文件路径默认是null会在运行时自动设置形如hdfs://xxxx/xxx/xxhive.exec.scratchdirhive用来存储不同阶段的map/reduce的执行计划的目录同时也存储中间输出结果默认是/tmp//hive我们实际一般会按组区分然后组内自建一个tmp目录存储hive.exec.submitviachild在非local模式下决定hive是否要在独立的jvm中执行map/reduce默认是false也就是说默认map/reduce的作业是在hive的jvm上去提交的hive.exec.script.maxerrsize当用户调用transform或者map或者reduce执行脚本时最大的序列化错误数默认100000一般也不用修改hive.exec.compress.output一个查询的最后一个map/reduce任务输出是否被压缩的标志默认为false但是一般会开启为true好处的话根据这篇文章节省空间不说在不考虑cpu压力的时候会提高iohive.exec.compress.intermediate类似上个在一个查询的中间的map/reduce任务输出是否要被压缩默认false但一般也会手动开启这篇文章对比了这两个配置其中回复讲到The former affects compression between MapReduce stages in a Hive query. The latter affects compression between map and reduce phases during the shuffle. 如此而已hive.jar.path当使用独立的jvm提交作业时hive_cli.jar所在的位置无默认值hive.aux.jars.path当用户自定义了UDF或者SerDe这些插件的jar都要放到这个目录下无默认值hive.partition.pruning在编译器发现一个query语句中使用分区表然而未提供任何分区谓词做查询时抛出一个错误从而保护分区表默认是nonstrict(待读源码后细化网上资料极少)hive.map.aggrmap端聚合是否开启默认开启这篇文章给出了map端聚合的很详细的描述hive.join.emit.interval在发出join结果之前对join最右操作缓存多少行的设定默认1000hive jira里有个对该值设置太小的bugfixhive.map.aggr.hash.percentmemorymap端聚合时hash表所占用的内存比例默认0.5这个在map端聚合开启后使用参看hive.map.aggr里提到的文章hive.default.fileformatCREATE TABLE语句的默认文件格式默认TextFile其他可选的有SequenceFile、RCFile还有Orc对于文件格式的说明对比这里有篇对比可以参考infoq上有篇文章讲了hadoop的文件格式hive.merge.mapfiles在只有map的作业结束时合并小文件默认开启truehive.merge.mapredfiles在一个map/reduce作业结束后合并小文件默认不开启falsehive.merge.size.per.task作业结束时合并文件的大小默认256MBhive.merge.smallfiles.avgsize在作业输出文件小于该值时起一个额外的map/reduce作业将小文件合并为大文件小文件的基本阈值设置大点可以减少小文件个数需要mapfiles和mapredfiles为true默认值是16MBposted on 2013-08-13 15:24 changedi 阅读(3615) 评论(0) 编辑 收藏 所属分类: 数据
