系网站建设工作总结,网页加速器安卓,个人网站 备案,网站副标题怎么修改RDD概述
中文名为弹性分布式数据集#xff0c;是数据处理基本单位。代表一个弹性的#xff0c;不可变#xff0c;可分区#xff0c;里面的数据可并行计算的集合。
RDD和Hadoop MR 的区别#xff1a;
RDD是先明确数据处理流程#xff0c;数据在行动算子执行前实际上并未…RDD概述
中文名为弹性分布式数据集是数据处理基本单位。代表一个弹性的不可变可分区里面的数据可并行计算的集合。
RDD和Hadoop MR 的区别
RDD是先明确数据处理流程数据在行动算子执行前实际上并未被修改MR本质上是摸石头过河每一步操作时数据本体已经被修改了无法恢复。
RDD特性
一组分区标记数据是哪个分区的一个计算每个分区的函数RDD之间的依赖关系一个分区器即RDD的分片函数一个优先列表移动数据不如移动计算
Spark编程
RDD的创建
使用IDEA创建一个spark项目添加spark-core_2.12依赖版本3.3.1在setting-plugins搜索Scala插件方便查询Scala代码如果代码出现winutils找不到异常时需要配置一下windows对于Hadoop的依赖开始编程 创建RDD_init的class文件定义main方法new JavaSparkContext(), 设置SparkConf().setMaster(local[*]).setAppName(rdd);得到scsc获取RDD的方法 textFile(文件路径)parallelize(list集合)
分区
为了能够看到分区的情况不使用collect收集而是采用saveAsTextFile方法来看并行操作的具体情形。local[2]代表并行度也会影响文件的数量这个是分区数的上限。也可以通过parallelize(list, 分区数)方法来控制分区数量而不影响分区的上限。
内存数据分区策略如果数据个数无法被分区数整除多出来的数据优先分配给后面的分区。
def positions(){val start ((下标*数据个数)/分区数).toIntval end ((下标1)* 数据个数/ 分区数).toInt
}从集合获取数据时负载均衡尽量保证每个分区的数据数量是一致的后面的分区的数据会比前面的多。
MR和spark的切分区别
MR希望每个任务跑到数据量级尽量多因为MR底层是单线程多进程的并发没有那么方便。spark希望跑到任务尽量多即负载均衡并发量高因为spark底层是多进程多线程的。
文件数据分区策略分区数量最低为2最高为环境CPU数量。分区数量根据文件大小来计算得出跟MR切片规则很类似。大致是这样
goalS ize 文件大小字节 / 分区数量最小为1分区数量 文件大小 / goalSize
