AmosCloud

Library

Have a Question?

If you have any question you can ask below or enter what you are looking for!

Spark_day01

Spark

1.是什么

Lightning-fast unified analytics engine
快如闪电(号称比hadoopMR快100多倍)的统一分析引擎

  • 特点
    1. 速度快
    2. 使用简单
    3. 多样通用的计算方式
      Spark Core spark核心
      Spark SQL(HQL) 结构化运算
      Spark Streaming 流式计算
      Spark MLlib 机器学习库
      Spark graphX 图形计算

file

  1. 任意平台运行
    分布式环境中常见的资源管理组件
    Hadoop Yarn
    Apache Mesos
    Kubernetes
    资源:计算资源(CPU和内存)
    思想:使用容器container来划分资源resource
|-------|  |-------|  |-------|
|2U 1G  |  |2U 4G  |  |2U 4G  |
|-------|  |-------|  |-------|

除了资源管理组件之外,Spark也提供独立的集群管理方案
叫做standalone模式
此模式下Spark单独启动Master和Worker进程,自己完成资源管理

2. 集群搭建

file

2.1 下载解压改名