方维网站建设,高性能网站建设进阶指南 pdf,烟台食品公司中企动力提供网站建设,网站招聘栏怎么做003-90-14【SparkSQLDFDS】慈航寺庙山脚下八卦田旁油菜花海深处人家王大爷家女儿用GPT学习DataSet的基本操作 【SparkSQLDFDS】Dataset 的创建和使用 【SparkSQLDFDS】2,Dataset 的创建和使用1#xff0c; 创建2, show3, map4, as5, select6 f…003-90-14【SparkSQLDFDS】慈航寺庙山脚下八卦田旁油菜花海深处人家王大爷家女儿用GPT学习DataSet的基本操作 【SparkSQLDFDS】Dataset 的创建和使用 【SparkSQLDFDS】2,Dataset 的创建和使用1 创建2, show3, map4, as5, select6 filter show(1) 【SparkSQLDFDS】2,Dataset 的创建和使用
1 创建
import spark.implicits._
//
// import spark.implicits._ 是一条常见的导入语句用于在 Spark 中导入隐式转换的相关功能。
// 在 Spark 中隐式转换是一种机制它允许您在使用 DataFrame 或 Dataset 时对其进行一些方便的操作
// 例如使用 DataFrame 的 .as[T] 方法将其转换为 Dataset或者使用 Dataset 的 .toDF() 方法将其转换为 DataFrame。
// 通过导入 spark.implicits._您可以自动应用这些隐式转换而无需显式地调用相关的转换方法。
//
// 以下是一个示例展示了如何使用 import spark.implicits._ 导入隐式转换
// import org.apache.spark.sql.SparkSession
// import spark.implicits._ // 导入隐式转换
// val spark SparkSession.builder()
// .appName(Example)
// .getOrCreate()
// // 创建一个 DataFrame
// val df spark.read.format(csv).load(path/to/data.csv)
// // 使用隐式转换的功能将 DataFrame 转换为 Dataset
// val ds df.as[MyClass]
// // 对 Dataset 执行一些操作
// val filteredDs ds.filter(_.age 30)
// // 将 Dataset 转换回 DataFrame
// val newDf filteredDs.toDF()// $example on:create_ds$
// Encoders are created for case classes
val caseClassDS : Dataset[Person] Seq(Person(Andy, 32)).toDS()2, show
caseClassDS.show()
// -------
// |name|age|
// -------
// |Andy| 32|
// -------3, map
// Encoders for most common types are automatically provided by importing spark.implicits._
val primitiveDS Seq(1, 2, 3).toDS()
primitiveDS.map(_ 1).collect() // Returns: Array(2, 3, 4)4, as
// DataFrames can be converted to a Dataset by providing a class. Mapping will be done by name
val path spark-demo/src/main/resources/people.json
val peopleDS spark.read.json(path).as[Person]
peopleDS.show()
// -----------
// | age| name|
// -----------
// |null|Michael|
// | 30| Andy|
// | 19| Justin|
// -----------5, select
peopleDS.select(name).show
// -------
// | name|
// -------
// |Michael|
// | Andy|
// | Justin|
// -------6 filter show(1)
peopleDS.filter($age 18).show
// ---------
// |age| name|
// ---------
// | 30| Andy|
// | 19|Justin|
// ---------
peopleDS.show(1)
// -----------
// | age| name|
// -----------
// |null|Michael|
// -----------
// $example off:create_ds$
