flink流计算与spark的区别

情场谈判 2个月前 已收到1个回答 举报

骄傲的皇后 2星

共回答了286个问题采纳率:98.1% 评论

最大区别

flink是基于事件的真正的实时流式处理,Spark是批量或者微批处理

Flink 用流处理去模拟批处理的思想,比Spark 用批处理去模拟流处理的思想扩展性更好。

Flink最核心的数据结构是Stream,它代表一个运行在多分区上的并行流。

在 Stream 上同样可以进行各种转换操作(Transformation)。与 Spark 的 RDD 不同的是,Stream 代表一个数据流而不是静态数据的集合。所以,它包含的数据是随着时间增长而变化的。而且 Stream 上的转换操作都是逐条进行的,即每当有新的数据进来,整个流程都会被执行并更新结果。这样的基本处理模式决定了 Flink 会比 Spark Streaming 有更低的流处理延迟性。

5小时前

1
可能相似的问题

热门问题推荐

Copyright © 2024 微短问答 All rights reserved. 粤ICP备2021119249号 站务邮箱 service@wdace.com