Spark 教程

Spark SQL

Spark 笔记

Spark MLlib

original icon
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.knowledgedict.com/tutorial/spark-pyspark-work-with-mysql.html

pyspark 如何连接 mysql 进行读写操作

Spark 笔记 Spark 笔记


大数据处理中,一般会要用到 spark 来进行大量离线计算后,对 mysql 进行读写操作,读操作可能在计算之前;这里列出 python 的 spark client 模块 pyspark 来对 mysql 进行连接操作。

推荐方式

from pyspark.sql import SparkSession
from pyspark.sql import SQLContext

SparkSession.builder.config('spark.driver.extraClassPath',
                            '/xxx/xxx/.m2/repository/mysql/mysql-connector-java/5.1.49/mysql-connector-java-5.1.49.jar')
spark = SparkSession.builder.appName('demo').getOrCreate()
sqlContext = SQLContext(spark.sparkContext)
df = sqlContext.read.format("jdbc").options(
    url="jdbc:mysql://localhost:3306/my_db",
    driver="com.mysql.jdbc.Driver",
    dbtable="my_table",
    user="root",
    password="").load()
df.show()

这里举例了,本地运行的示例,如果在线上环境完备的分布式中运行,可以去掉 spark.driver.extraClassPath 配置。

本章节我们为大家介绍 Java 如何使用 使用 JDBC 连接 MySQL 数据库。 ...
Redis 连接命令用来做与 Redis 服务器之间的连接操作。 ...
在Java中连接MySQL数据库有多种方式,下面我将为你介绍常用的两种方式:使用JDBC和使用第三方库Hibernate。###示例代码## ...
pyspark 针对 dataframe 如何遍历每一行数据? ...
一般如我们在 pycharm 本地运行 pyspark 连接 mysql 时,可能会报 java.lang.ClassNotFoundExc ...