Hbase如何实现性能测试

这篇文章给大家分享的是有关Hbase如何实现性能测试的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。

创新互联一直秉承“诚信做人,踏实做事”的原则,不欺瞒客户,是我们最起码的底线! 以服务为基础,以质量求生存,以技术求发展,成交一个客户多一个朋友!为您提供做网站、成都网站设计、成都网页设计、微信小程序定制开发、成都网站开发、成都网站制作、成都软件开发、手机APP定制开发是成都本地专业的网站建设和网站设计公司,等你一起来见证!

之前测试过HBASE的参数对性能影响,今天的测试主要针对写吞吐量,通过对比不同客户端的数量,以及插入量,来看看HBASE写的情况下,大概有多少每秒插入。

测试硬件:8vcore, 32G内存 , 8台机器, 5个nodemanager/region server  ,大家可能知道每个map,reduce 默认1个 vcores,1G内存 很显然,我一共40个vcores, 所以最多也只有39个map, reduce。 

测试命令:
time hbase org.apache.hadoop.hbase.PerformanceEvaluation --rows=1000000  sequentialWrite 50

客户端 数据量 执行时间 写吞吐量
1 1000000 54s 18000条/s
1 10000000 2m56s 58800条/s
1 100000000 3m20s 78000条/s




10 100000/client 1m24.625s 11904条/s
10 1000000/client 4m2.163s 41000条/s
10 10000000/client 14m33.584s 113000条/s








50 10000/client 3m29.969s 3292条/s
50 100000/client 3m9.325s 26315条/s
50 1000000/client 13m50.013s 60240条/s


先说明一下,上面测试数据其实是不准确的,主要硬件限制,PerformanceEvaluation 默认每个客户端为10个MAP,50个并发的话就是500个MAP,每次只能跑39个MAP,很显然很多MAP处于pending状态,如果有足够好的硬件,结果会好很多。另外,PerformanceEvaluation 是先随机生成数据,再通过reduce来插入,所以整个时间还包含map的时候,并不单纯是插入时间。

所以从上述结果来看,看不出来太多问题,但是也有惊喜,10个客户端的情况下达到11W条/秒, 如果有足够好的CPU,我相信即使并发增加,HBASE的写性能还是非常不错的。

感谢各位的阅读!关于“Hbase如何实现性能测试”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!


网页名称:Hbase如何实现性能测试
新闻来源:http://pwwzsj.com/article/jdjgde.html