如何维护自己公司的网站,织梦教育培训网站源码,wordpress页面文字,备案网址查询在linux控制台跑spark on yarn一个测试案例#xff0c;日志中总显示RM连yarn服务的时候是#xff1a;0.0.0.0:8032
具体情况如下图#xff1a; 我问题出现的原因#xff0c;总结如下#xff1a;
1.防火墙没关闭#xff0c;关闭
2.spark-env.sh这个文件的YARN_CONF_DIR…在linux控制台跑spark on yarn一个测试案例日志中总显示RM连yarn服务的时候是0.0.0.0:8032
具体情况如下图 我问题出现的原因总结如下
1.防火墙没关闭关闭
2.spark-env.sh这个文件的YARN_CONF_DIR/opt/module/hadoop-3.3.4/etc/hadoop 没写对这个很关键报错就是因为这
3.安有yarn服务器的那台节点的/etc/hostname文件中没配hadoop103
这3个都没问题了再跑
[dahuahadoop102 spark-yarn]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.3.1.jar \
10
[dahuahadoop102 spark-yarn]$ bin/spark-submit \
--class com.atguigu.wrodcount_case.WordCountYarn \
--master yarn \
./Spark-1.0-SNAPSHOT.jar \
/input \
/output
备注上面标黄的三个地方是每次提交要改的地方第一个是指明类路径第二个是jar包名第三个是HDFS输出路径不能已存在。
成功 嘿嘿~ 备注写的workCount案例yarn模式不能直接在IDEA上运行将搭好的jar包上传到spark-yarn/的目录下报错如下 Exception in thread main org.apache.spark.SparkException: Could not parse Master URL: yarnat org.apache.spark.SparkContext$.org$apache$spark$SparkContext$$createTaskScheduler(SparkContext.scala:2982)at org.apache.spark.SparkContext.init(SparkContext.scala:563)at org.apache.spark.api.java.JavaSparkContext.init(JavaSparkContext.scala:58)at com.atguigu.wrodcount_case.WordCountYarn.main(WordCountYarn.java:22)
