常德市城市建设局网站,重庆公司网站设计制作,网站安全在线检测,建筑工程网招聘信息进入安装sparkclient的节点
hdfs准备一个文件
su - hdfs
vi text.txt
随便写几行东西 #创建目录
hdfs dfs -mkdir /user/hdfs/test
#上传文件
hdfs dfs -put test.txt /user/hdfs/test/
#检查文件是否在
hdfs dfs -ls /user/hdfs/test/
#检查内容是否对
hdfs dfs -c…进入安装sparkclient的节点
hdfs准备一个文件
su - hdfs
vi text.txt
随便写几行东西 #创建目录
hdfs dfs -mkdir /user/hdfs/test
#上传文件
hdfs dfs -put test.txt /user/hdfs/test/
#检查文件是否在
hdfs dfs -ls /user/hdfs/test/
#检查内容是否对
hdfs dfs -cat /user/hdfs/test/test.txt spark在yarn上运行参见官方文档
http://spark.apache.org/docs/latest/running-on-yarn.html
进入spark-shell
spark-shell --master yarn --deploy-mode client
统计下
scala sc.textFile(/user/hdfs/test/test.txt).count()
res0: Long 7 scala sc.stop()
再次刷新Spark History Server页面即可
http://192.168.128.55:18081/?showIncompletefalse spark-submit提交任务到yarn
spark-submit --class org.whq.sparkTest.MLTest1 \
--master yarn \
--deploy-mode cluster \
--driver-memory 4g \
--executor-memory 2g \
--executor-cores 1 \
--queue default \
spark244test_2.11-0.1.jar \
10 --deploy-mode cluster集群模式多个application每个application启动一个Driver在集群的多台workerNodeManager上启动。
--deploy-mode client客户端模式多个application每个application启动一个Driver只在本机运行与集群产生大量通讯。
