toJSON 函数是 PySpark DataFrame API 中的一个函数，用于将 DataFrame 中的数据转换为 JSON 格式。
函数语法
python 语法
def toJSON(self, use_unicode=True):
说明
该函数从 1.3 版本开始支持。
参数只有 use_unicode，表示是否使用 unicode 编码。
作用
toJSON 函数的主要作用是将 DataFrame 中的数据转换为 JSON 格式的字符串。这可以在数据处理和分析过程中非常有用，因为 JSON 是一种常见的数据交换格式，适用于多种应用场景，如数据存储、数据传输和数据可视化。
通过将 DataFrame 转换为 JSON，你可以将数据导出到其他系统、应用程序或文件中，以便进行进一步的处理或分析。此外，toJSON 函数还可用于在 PySpark 中进行数据转换和筛选操作。
toJSON 函数转换操作都是在每个数据分区上执行转换操作，所以可以利用 spark 分布式计算的能力。
示例
以下是一个示例代码，演示如何使用 toJSON 函数将 PySpark DataFrame 转换为 JSON 格式的字符串。在示例中，我们首先创建一个 DataFrame，然后使用 toJSON 函数将其转换为 JSON 字符串：
# 导入必要的 PySpark 模块
from pyspark.sql import SparkSession
from pyspark.sql.functions import col
# 创建 SparkSession
spark = SparkSession.builder.appName("toJSONExample").getOrCreate()
# 创建示例 DataFrame
data = [("Alice", 25), ("Bob", 30), ("Charlie", 35)]
columns = ["Name", "Age"]
df = spark.createDataFrame(data, columns)
# 显示原始 DataFrame
df.show()
# 使用 toJSON 函数将整个 DataFrame 转换为 JSON 字符串
json_df = df.toJSON()
json_string = json_df.collect() # 收集结果到本地
# 打印转换后的 JSON 字符串
for json in json_string:
print(json)
# 关闭 SparkSession
spark.stop()
在上述示例中，我们首先创建了一个包含姓名和年龄信息的 DataFrame，然后使用 toJSON 函数将整个 DataFrame 转换为 JSON 字符串。最后，我们使用 collect 函数将结果收集到本地，然后打印每一行 JSON 字符串。
请注意，你还可以指定列作为参数来选择要转换为 JSON 的列。例如，如果只想将 "Name" 列转换为 JSON，可以使用 json_df = df.select("Name").toJSON() 来实现。