AmosCloud

Library

Have a Question?

If you have any question you can ask below or enter what you are looking for!

SparkStreaming

SparkStreaming

  • Spark生态的流式计算框架

特点

  • 易用
    与SparkCore的RDD类似,SparkStreaming提供了一个新的数据抽象DStream,DStream的操作与RDD类似都使用高级算子进行数据处理

  • 高容错
    SparkStreaming的高容错机制可以保证数据的恰好一次计算(数据不丢也不重复)

  • Spark其他模块的兼容
    SparkStreaming允许编写流式计算程序时,添加RDD的批处理计算,和DF\DS的结构化查询运算

SparkStreamingAPI

  • 引入依赖