周口网站建设73data,济宁建网站公司,网站有什么好处,网站建设情况报告将工程整体打成一个jar包并上传到linux机器上#xff0c;准备好要处理的数据文件放到hdfs的指定目录中用命令启动jar包中的Jobsubmitter#xff0c;让它去提交jar包给yarn来运行其中的mapreduce程序 #xff1a;hadoop jar wc.jar cn.edu360.mr.wordcount.JobSubmitter ...…将工程整体打成一个jar包并上传到linux机器上准备好要处理的数据文件放到hdfs的指定目录中用命令启动jar包中的Jobsubmitter让它去提交jar包给yarn来运行其中的mapreduce程序 hadoop jar wc.jar cn.edu360.mr.wordcount.JobSubmitter .....去hdfs的输出目录中查看结果import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;/*** 如果要在hadoop集群的某台机器上启动这个job提交客户端的话* conf里面就不需要指定 fs.defaultFS mapreduce.framework.name** 因为在集群机器上用 hadoop jar xx.jar cn.edu360.mr.wc.JobSubmitter2 命令来启动客户端main方法时* hadoop jar这个命令会将所在机器上的hadoop安装目录中的jar包和配置文件加入到运行时的classpath中** 那么我们的客户端main方法中的new Configuration()语句就会加载classpath中的配置文件自然就有了* fs.defaultFS 和 mapreduce.framework.name 和 yarn.resourcemanager.hostname 这些参数配置** author ThinkPad**/public class JobSubmitterLinuxToYarn {public static void main(String[] args) throws Exception {Configuration conf new Configuration();conf.set(fs.defaultFS, hdfs://hdp-01:9000);conf.set(fs.hdfs.impl, org.apache.hadoop.hdfs.DistributedFileSystem);// 没指定默认文件系统// 没指定mapreduce-job提交到哪运行Job job Job.getInstance(conf);job.setJarByClass(JobSubmitterLinuxToYarn.class);job.setMapperClass(WordcountMapper.class);job.setReducerClass(WordcountReducer.class);job.setMapOutputKeyClass(Text.class);job.setMapOutputValueClass(IntWritable.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(IntWritable.class);FileInputFormat.setInputPaths(job, new Path(/wordcount/input));FileOutputFormat.setOutputPath(job, new Path(/wordcount/output));job.setNumReduceTasks(3);boolean res job.waitForCompletion(true);System.exit(res?0:1);}}
