Spark 教程

Spark SQL

Spark 笔记

Spark MLlib

original icon
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.knowledgedict.com/tutorial/spark-get-row-and-column-number-from-dataframe.html

如何获取 spark dataframe 数据的行数和列数

Spark DataFrame 原理及操作详解 Spark DataFrame 原理及操作详解


pyspark 的 dataframe 对象数据获取行数和列数和 pandas 的 dataframe 的操作不同,它并没有 shape 属性。

推荐方法

这里给出 python 的方式,java 和 scala 方式类同:

# 获取行数调用 dataframe 对象的 count 函数
row_num = df.count()

获取列数代码如下:

col_num = len(df.columns)