AmosCloud

Library

Have a Question?

If you have any question you can ask below or enter what you are looking for!

SparkStreaming

SparkStreaming

是什么

SparkStreaming是Spark中一的一个可扩展、高容错的流式计算模块。

  • 特点

    1. 简单易用
      可以允许用户,使用类似批处理的高级算子,对流式数据进行处理
      SparkCore RDD ,SparkStreaming提供了DStream,与RDD类似,DStream也提供了各类算子
      支持Scala、Java、Python

    2. 容错
      通过底层RDD的
      checkpoint机制实现RDD的状态传递
      缓存机制实现流式计算容错

    3. 兼容Spark其他模块
      可以在流式计算中使用RDD、DF、DS的所有api