Kafka2.3性能测试是怎样的
Kafka2.3性能测试是怎样的,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。
专注于为中小企业提供成都网站制作、成都网站建设服务,电脑端+手机端+微信端的三站合一,更高效的管理,为中小企业庐山免费做网站提供优质的服务。我们立足成都,凝聚了一批互联网行业人才,有力地推动了1000+企业的稳健成长,帮助中小企业通过网站建设实现规模扩充和转变。
了解Kafka的性能指标可以很好的帮助你规划Kafka集群,但使用不同的消息大小,保留时间(retention periods),分区,复制因子,网络速度,甚至是同步还是异步都可能影响到对Kafka集群的硬件配置和大小的规划
下面会基于之前同样的测试案例,但使用较新的Kafka2.3以及更好的硬件来重新进行测试,以看看新版本的Kafka带来了什么改进。
一共6个测试节点,其中3个节点会被作为Kafka Broker,还有三个节点会作为producers / consumers。假设网络带宽是10Gb/s,我们应该能在三个Kafka节点上推送近30Gb/s,在所有6个节点上推送60Gb/s。
为了简化测试,我设置了一些环境变量,这样运行的每个命令都可以重复使用:
BOOTSTRAP=10.0.0.4:9092,10.0.0.5:9092,10.0.0.6:9092
首先,我们需要根据分区数和副本创建各种topic:
kafka-topics --bootstrap-server ${BOOTSTRAP} --create --topic test-rep-one --partitions 6 --replication-factor 1
kafka-topics --bootstrap-server ${BOOTSTRAP} --create --topic test-rep-three --partitions 6 --replication-factor 3
kafka-topics --bootstrap-server ${BOOTSTRAP} --create --topic test-7k --partitions 18 --replication-factor 3
Kafka附带了两个方便的脚本,可用于测试集群:kafka-producer-perf-test和kafka-consumer-perf-test
上面的这些测试案例与之前Linkedin在2014的测试是一样的。但是由于之前的测试是使用100byte大小的记录完成的,下面我们使用7KB大小的记录来重新测试,并且对Kafka的配置进行一些优化:8GB的heap,更大的batch size,并使用snappy压缩。
超过每秒100万条消息,每条消息读写7KB。已经达到了万兆网的限制。
测试命令如下:
Test 1:
kafka-producer-perf-test --topic test-rep-one --num-records 50000000 --record-size 100 --throughput -1 --producer-props acks=0 bootstrap.servers=${BOOTSTRAP}
Test 2:
kafka-producer-perf-test --topic test-rep-three --num-records 50000000 --record-size 100 --throughput -1 --producer-props acks=0 bootstrap.servers=${BOOTSTRAP}
Test 3:
kafka-producer-perf-test --topic test-rep-three --num-records 50000000 --record-size 100 --throughput -1 --producer-props acks=1 bootstrap.servers=${BOOTSTRAP}
Test 4 (run three instances in parallel, one on each node):
kafka-producer-perf-test --topic test-rep-three --num-records 50000000 --record-size 100 --throughput -1 --producer-props acks=0 bootstrap.servers=${BOOTSTRAP}
Test 5:
kafka-consumer-perf-test --broker-list ${BOOTSTRAP} --messages 50000000 --topic test-rep-three --threads 1 --timeout 60000 --print-metrics --num-fetch-threads 6
Test 6 (run three instances in parallel, one on each node):
kafka-consumer-perf-test --broker-list ${BOOTSTRAP} --messages 50000000 --topic test-rep-three --threads 1 --timeout 60000 --print-metrics --num-fetch-threads 6
Test 7 (run a producer on each node, including the Kafka brokers):
kafka-producer-perf-test --topic test-7k --num-records 50000000 --record-size 7168 --throughput -1 --producer-props acks=0 bootstrap.servers=${BOOTSTRAP} linger.ms=100 compression.type=snappy
Test 8 (run a consumer on each node, including the Kafka brokers):
kafka-consumer-perf-test --broker-list ${BOOTSTRAP} --messages 50000000 --topic test-7k --threads 1 --timeout 60000 --print-metrics --num-fetch-threads 18
关于Kafka2.3性能测试是怎样的问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注创新互联行业资讯频道了解更多相关知识。
网站栏目:Kafka2.3性能测试是怎样的
本文来源:http://pwwzsj.com/article/psoeji.html