Spark 教程

Spark SQL

Spark 笔记

Spark MLlib

original icon
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.knowledgedict.com/tutorial/spark-installation.html

Spark 安装


Spark 是由 Scala 编写的,所以在安装 Spark 的过程中,首先必须确保 Java 环境的安装和 Scala 的安装。

Spark 运行模式

Spark 可以运行在多种模式之上,主要有以下几种运行模式:

  • 本地单机模式(local):主要用于本地开发测试 Spark 代码;
  • 独立分布式模式(standalone):以 master-worker 架构,master 负责调度,worker 负责具体 task 的执行;
  • 基于 Mesos 或 YARN 模式:运行在 Mesos/YARN 等资源管理框架之上,Mesos/YARN 提供资源管理,Spark 提供计算调度,并可与其他计算框架(如 MapReduce/MPI/Storm)共同运行在同一个集群之上;
  • 基于云容器(Cloud):如运行在 AWS 的 EC2 之上。

Spark 安装

首先介绍在各个平台上,Spark 的安装。

准备工作

不管在什么平台安装,都要确保几点如下:

  • java 环境的安装;
  • scala 的安装。

Mac OS 安装 Spark

Mac 平台下可以通过2种方式安装 Spark:

  • 基于 homebrew 安装;
  • 通过安装包安装。

通过 homebrew 安装

brew install apache-spark
Apache Spark 是一个开源集群运算框架,最初是由加州大学伯克利分校 AMP 实验室所开发。相对于 Hadoop 的 MapRedu ...
这里收集了 Spark 开发中常见的问题及解决方案。 ...
Redis 官方只提供类 Unix 系统下的安装包,Windows 下需要到 github 相关的项目中下载。 ...
Elasticsearch是Java语言编写的,所以运行Elasticsearch首先需要保证Java程序的运行环境。按照下面的操作,在前台 ...
Lombok(ProjectLombok)是一个Java库,它通过注解来简化Java代码的编写,特别是用于减少样板代码的冗余。gradle` ...