网站建设优化公司,seo数据优化,龙华响应式网站建设,常州小程序开发报价1、Spark 包下载
清华大学开源软件镜像站下载(速度较快#xff0c;但版本不全)官方各个版本
下载后解压即可。 #xff08;可选#xff09;添加环境变量 SPARK_HOME。并将 %SPARK_HOME%/bin、%SPARK_HOME%/sbin 添加到 path 中。
ps#xff1a;本文使用的是 spark-3.3.0…1、Spark 包下载
清华大学开源软件镜像站下载(速度较快但版本不全)官方各个版本
下载后解压即可。 可选添加环境变量 SPARK_HOME。并将 %SPARK_HOME%/bin、%SPARK_HOME%/sbin 添加到 path 中。
ps本文使用的是 spark-3.3.0-bin-hadoop3.tgz
2、启动 SPARK (Standalone)
ps理论上也可以直接在 idea 里面引入依赖直接执行 java 对应主类Master、Worker即可如果有访问权限问题用反射即可。
2.1 启动 master
为当前命令行添加 SPARK_HOME如果添加了全局的 SPARK_HOME 则这里可以省略可选
set SPAK_HOMED:\Programs\spark-3.3.0-bin-hadoop3启动 master
java -cp %SPARK_HOME%/jars/* -Xmx1g org.apache.spark.deploy.master.Master --host {ip} --port 7077 --webui-port 8080启动 master 并通过 --properties-file 指定配置文件 spark-defaults.conf
java -cp %SPARK_HOME%/jars/* -Xmx1g org.apache.spark.deploy.master.Master --host {ip} --port 7077 --webui-port 8080 --properties-file %SPARK_HOME%/conf/spark-defaults.conf2.2 启动 Worker
为当前命令行添加 SPARK_HOME如果添加了全局的 SPARK_HOME 则这里可以省略可选
set SPAK_HOMED:\Programs\spark-3.3.0-bin-hadoop3启动 worker
java -cp %SPARK_HOME%/jars/* -Xmx1g org.apache.spark.deploy.worker.Worker spark://{ip}:7077ps: 一台机器可以起多个 worker指定不同的端口就行
java -cp %SPARK_HOME%/jars/* -Xmx1g org.apache.spark.deploy.worker.Worker spark://{ip}:7077 --webui-port 9091
