Spark 教程

Spark SQL

Spark 笔记

Spark MLlib

original icon
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.knowledgedict.com/tutorial/spark-get-row-and-column-number-from-dataframe.html

如何获取 spark dataframe 数据的行数和列数

Spark DataFrame 原理及操作详解 Spark DataFrame 原理及操作详解


pyspark 的 dataframe 对象数据获取行数和列数和 pandas 的 dataframe 的操作不同,它并没有 shape 属性。

推荐方法

这里给出 python 的方式,java 和 scala 方式类同:

# 获取行数调用 dataframe 对象的 count 函数
row_num = df.count()

获取列数代码如下:

col_num = len(df.columns)

 

在 spark 中,过滤 dataframe 对象数据的某个列为 null 值(即空值)的行数据可以使用 filter 函数或 where ...
SparkDataFrame是2015年3月13日发布的Spark1.Transformation操作:即转换操作,实际上是在构建一个执行计 ...
spark 的 dataframe 对象数据中,如何指定的列若要满足某种条件,设置特定值,否则保留原始值? ...
spark dataframe 的 fillna 函数等同于 na.fill(),na.fill 函数底层也是调用 fillna,它的作用是 ...
Spark 是由 Scala 编写的,所以在安装 Spark 的过程中,首先必须确保 Java 环境的安装和 Scala 的安装。 ...