千家信息网

Spark SQL读取MySQL的dept和hive的emp表,做join和分组查询,后写到json

发表于:2025-02-02 作者:千家信息网编辑
千家信息网最后更新 2025年02月02日,val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:mysql://hadoop000:3306").option("dbtable"
千家信息网最后更新 2025年02月02日Spark SQL读取MySQL的dept和hive的emp表,做join和分组查询,后写到json
val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:mysql://hadoop000:3306").option("dbtable", "hive.dept").option("user", "root").option("password", "123456").load()jdbcDF.createOrReplaceTempView("dept")val hiveDF = sql("SELECT * FROM emp")val sqlDF = sql("SELECT * FROM emp e JOIN dept d ON e.deptno = d.deptno").showsqlDF.write.format("json").save("file:///empJoinDept.json")
0