欢迎来到魔据教育大数据学院,专注大数据工程师培养!
当前位置:首页 > IT培训问题库 > 流计算框架flink与storm的性能对比

流计算框架flink与storm的性能对比

时间:2017-12-05 18:48:59作者:[!--zuozhe--]

流计算框架flink与storm的性能对比,Flink和Storm是当前业界广泛使用的两个分布式实时计算框架。Storm在美团点评实时计算业务中已有较为成熟的运用,有管理平台、常用API和相应的文档,大量实时作业基于 Storm构建。Storm具有高吞吐、低延迟、高可靠和精确计算等待性,对事件窗口有很大的支持,目前在美团实时计算业务中已有应用。

1.Flink与Storm两个框架对比 

流计算框架flink与storm的性能对比

 流计算框架flink与storm的性能对比

评估场景不同,不同数据压力下flink和storm两个实时计算框架目前的性能表现,获取详细性能数据并找到处理性能的极限,分析不同配置的适用场景,从而得出调优建议。

 

 

流计算框架flink与storm的性能对比

2.窗口统计场景

实时计算中常有对时间窗口或计数窗口进行统计的需求,例如一天中每五分钟的访问量,每 100 个订单中有多少个使用了优惠等。Flink 在窗口支持上的功能比 Storm 更加强大,API 更加完善,但是我们同时也想了解在窗口统计这个常用场景下两个框架的性能。Storm 仅能保证至多一次和至少一次的消息投递语义,可能存在重复发送的情况。大数据入门需要学习哪些?正常情况下很多业务对数据的精确性要求较高,要求消息投递不重不漏,flink支持恰好一次的语义,但是在限定的资源条件下,更加严格的精确度要求能够带来更高的代价,进而影响性能。

吞吐量:

单位时间内由计算框架成功地传送数据的数量,本次测试吞吐量的单位为:条/秒。

反映了系统的负载能力,在相应的资源条件下,单位时间内系统能处理多少数据。

吞吐量常用于资源规划,同时也用于协助分析系统性能瓶颈,从而进行相应的资源调整以保证系统能达到用户所要求的处理能力。假设商家每小时能做二十份午餐(吞吐量20份/小时),一个外卖小哥每小时只能送两份(吞吐量2份/小时),这个系统的瓶颈就在小哥配送这个环节,可以给该商家安排十个外卖小哥配送。

延迟:

数据从进入系统到流出系统所用的时间,本次测试延迟的单位为:毫秒。

反映了系统处理的实时性。

金融交易分析等大量实时计算业务对延迟有较高要求,延迟越低,数据实时性越强。

假设商家做一份午餐需要5分钟,小哥配送需要25分钟,这个流程中用户感受到了30 分钟的延迟。如果更换配送方案后延迟变成了60分钟,等送到了饭菜都凉了,这个新的方案就是无法接受的。

3.数据处理

Storm Task和Flink Task(每个测试用例不同)从Kafka Topic Data 相同的Offset开始消费,并将结果及相应inTime、outTime时间戳分别写入两个Topic(Topic Storm和 Topic Flink)中。

Flink框架本身性能优于storm,实时计算场景建议考虑使用flink框架进行计算。

相关推荐:

Python更适用于大数据初学者

马云预测未来职业趋势,学大数据,不失业

想转型做大数据?首先你要搞清楚该学什么

 

 

 

流计算框架flink与storm的性能对比

 

 


更多大数据相关资讯敬请关注魔据教育,为您分享最及时的大数据资讯。
学习大数据敬请关注魔据教育微信二维码。
魔据教育微信二维码

【版权与免责声明】如发现内容存在版权问题,烦请提供相关信息发邮件至kefu@mojuedu.com,我们将及时沟通与处理。本站内容除非来源注明魔据教育,否则均为网友转载,涉及言论、版权与本站无关。

全国咨询热线:18501996998,值班手机:18501996998(7*24小时)

在线咨询:张老师QQ 320169340

企业合作服务专线:010-82340234-821, 院校合作洽谈专线:010-82340234

Copyright 2001-2019 魔据教育 - 北京华育兴业科技有限公司 版权所有,京ICP备17018991号-2

免费在线咨询立即咨询

免费索取技术资料立即索取

大数据技术交流QQ:226594285

电话咨询010-82340234