无锡新区企业网站推广,长沙工商注册网上核名,门户网站建设成都,宿迁房产中介我们前面的文章介绍了DSL风格的编程#xff0c;现在介绍以下两种编程风格之一的sql风格编程。
sql风格编程简介
sql风格编程就是我们可以通过spark.sql来执行sql语句进行查询#xff0c;这时的DataFrame就像是一张关系型数据表。返回的是DataFrame。 如果我们想用sql风格的…我们前面的文章介绍了DSL风格的编程现在介绍以下两种编程风格之一的sql风格编程。
sql风格编程简介
sql风格编程就是我们可以通过spark.sql来执行sql语句进行查询这时的DataFrame就像是一张关系型数据表。返回的是DataFrame。 如果我们想用sql风格的编程需要先将DataFrame注册成表注册表的方式有以下3种
# 注册临时表
df.createTempView(score)
# 注册临时表如果存在则替换
df.createOrReplaceTempView(score)
# 注册全局表
df.createGlobalTempview(score)值得注意的是全局表是可以跨sparksession对象使用的在一个程序内多个sparksession对象都可以使用临时表只能在当前的sparksession中使用全局表的查询需带上前缀global_temp.xxx
将dataframe注册成表之后就可以用sql语句来查询了
spark.sql(SELECT subject, COUNT(*) AS cnt FROM score GROUP BY subject).show()
