广州有学spark与storm比对_广州北大青鸟学习大数据的内容是什么?
作者:广州电脑培训甘发布时间:2020-10-19分类:软件开发培训浏览:794
大数据实时处理平台市场上产品众多,今天就讨论一下spark与storm的比对,最后结合适用场景进行选型。
一、Spark Streaming与Storm的应用场景
适用Storm的场景:
1、需要纯实时,不能忍受1秒以上延迟的场景下使用,比如实时金融系统,要求纯实时进行金融交易和分析;
2、对于实时计算的功能中,要求可靠的事务机制和可靠性机制,即数据的处理完全精准,一条也不能多,一条也不能少,也可以考虑使用Storm;
3、若还需要针对高峰低峰时间段,动态调整实时计算程序的并行度,以最大限度利用集群资源(通常是在小型公司,集群资源紧张的情况),也可以考虑用Storm;
4、如果一个大数据应用系统,它就是纯粹的实时计算,不需要在中间执行SQL交互式查询、复杂的transformation算子等,那么用Storm是比较好的选择。
适用Spark Streaming的场景:
1、如果对上述适用于Storm的三点,一条都不满足的实时场景,即:不要求纯实时,不要求强大可靠的事务机制,不要求动态调整并行度,那么可以考虑使用Spark Streaming;
2、考虑使用Spark Streaming最主要的一个因素,应该是针对整个项目进行宏观的考虑,即:如果一个项目除了实时计算之外,还包括了离线批处理、交互式查询等业务功能,而且实时计算中,可能还会牵扯到高延迟批处理、交互式查询等功能,那么就应该首选Spark生态,用Spark Core开发离线批处理,用Spark SQL开发交互式查询,用Spark Streaming开发实时计算,三者可以无缝整合,给系统提供非常高的可扩展性 Spark Streaming与Storm的优劣分析事实上,Spark Streaming绝对谈不上比Storm优秀;
总之,这两个框架在实时计算领域都很优秀,只是擅长的细分场景并不相同。Spark Streaming仅仅在吞吐量上比Storm要优秀,而吞吐量这一点,也是历来挺Spark Streaming贬Storm的人着重强调的。但是问题是,是不是在所有的实时计算场景下,都那么注重吞吐量?不尽然。因此,通过吞吐量说Spark Streaming强于Storm,不靠谱。事实上,Storm在实时延迟度上,比Spark Streaming就好多了,前者是纯实时,后者是准实时。而且,Storm的事务机制、健壮性 / 容错性、动态调整并行度等特性,都要比Spark Streaming更加优秀。Spark Streaming,有一点是Storm绝对比不上的,就是:它位于Spark生态技术栈中,因此Spark Streaming可以和Spark Core、Spark SQL无缝整合,也就意味着,我们可以对实时处理出来的中间数据,立即在程序中无缝进行延迟批处理、交互式查询等操作。这个特点大大增强了Spark Streaming的优势和功能。
- 软件开发培训排行
- 最近发表
-
- 茂名信息:2024年茂名市技工教育招生院校名单|||计算机职业技能培训班
- 江门信息:我市两名金牌选手将代表广东省出战第二届全国乡村振兴职业技能大赛养老护理项目|||中专学计算机平面设计女生可以学计算机网络技术好吗
- 惠州信息:“惠州市就业驿站巡礼”之博罗石湾站|||广州市北大青鸟计算机职业培训学校
- 惠州信息:惠州市技工教育联盟成立大会暨第一届理事会全体会议成功召开|||计算机培训机构
- 河源信息:河源市和平县举办培训班进一步推进保障农民工工资支付制度全面贯彻落实|||计算机培训学校招生
- 江门信息:江门市举办劳动保障监察业务培训班,全面提升执法能力|||计算机网络培训学校
- 东莞信息:在莞被拖欠工资了?可到这个平台反映|||电脑计算机编程培训学校
- 肇庆信息:广东省2024年二级造价工程师职业资格考试报考通知|||北大青鸟计算机培训中心
- 东莞信息:广东省2024年高校毕业生“三支一扶”招募工作启动!东莞计划招募100人|||电脑计算机编程培训学校
- 中山信息:广东省2024年二级造价工程师职业资格考试报考须知|||北大青鸟计算机培训中心
- 标签列表
-