AmosCloud

Library

Have a Question?

If you have any question you can ask below or enter what you are looking for!

SparkStreaming

流式计算框架

storm

概述

storm是一个独立的流式计算框架,集群采取主从架构

特点

storm是真正意义上的纯流式计算

  • 主节点nimbus

  • 从节点supervisor

  • 每一个stomr的job叫做一个topology用来描述当前job的运行流程

  • topology由spout、bolt组成

    • spout 是数据源
    • bolt 是每一个下游的处理环节
  • tuple是storm的spout和bolt之间发送数据的单位,每一个tuple中保存一个K和一个V

真·流式计算 (伪·流式计算)微批处理
框架 storm、beam、flink spark streaming
延迟 毫秒级延迟 毫秒级~秒级
处理方式 每条数据逐个处理(storm逐个处理tuple) 将数据切成微小的批次进行处理(spark streaming处理一个一个的小RDD)