平武建站

kafka和storm集群的环境安装

前言

storm和kafka集群安装是没有必然联系的，我将这两个写在一起，是因为他们都是由zookeeper进行管理的，也都依赖于JDK的环境，为了不重复再写一遍配置，所以我将这两个写在一起。若只需一个，只需挑选自己选择的阅读即可。

灌南网站建设公司创新互联,灌南网站设计制作，有大型网站制作公司丰富经验。已为灌南上1000家提供企业网站建设服务。企业网站搭建\外贸网站制作要多少钱，请找那个售后服务好的灌南做网站的公司定做！

这两者的依赖如下:

  • Storm集群：JDK1.8 , Zookeeper3.4，Storm1.1.1；
  • Kafa集群: JDK1.8 ，Zookeeper3.4 ，Kafka2.12；

说明: Storm1.0 和Kafka2.0对JDK要求是1.7以上，Zookeeper3.0以上。

下载地址:
Zookeeper：https://zookeeper.apache.org/releases.html#download
Storm: http://storm.apache.org/downloads.html
Kafka: http://kafka.apache.org/downloads

JDK安装

每台机器都要安装JDK！！！
说明: 一般CentOS自带了openjdk，但是我们这里使用的是oracle的JDK。所以要写卸载openjdk，然后再安装在oracle下载好的JDK。如果已经卸载，可以跳过此步骤。
首先输入 java -version
查看是否安装了JDK，如果安装了，但版本不适合的话，就卸载
kafka和storm集群的环境安装
可以使用进行Ctrl+C 退出

可以看到数据已经正常消费了。

5，kafka的一些常用命令

1.启动和关闭kafka

bin/kafka-server-start.sh config/server.properties >>/dev/null 2>&1 &
bin/kafka-server-stop.sh

2.查看kafka集群中的消息队列和具体队列
查看集群所有的topic

 kafka-topics.sh --zookeeper master:2181,slave1:2181,slave2:2181 --list

查看一个topic的信息

 kafka-topics.sh --zookeeper master:2181 --describe --topic t_test

3.创建Topic

kafka-topics.sh --zookeeper master:2181 --create --topic t_test --partitions 5  --replication-factor 2

4.生产数据和消费数据

kafka-console-producer.sh --broker-list master:9092 --topic t_test

Ctrl+D 退出

kafka-console-consumer.sh  --zookeeper master:2181  --topic t_test --from-beginning

Ctrl+C 退出

5.kafka的删除命令

kafka-topics.sh --delete --zookeeper master:2181 --topic t_test

6,添加分区

kafka-topics.sh --alter --topict_test --zookeeper master:2181 --partitions 10

其它

Storm环境搭建参考官方文档:
http://storm.apache.org/releases/1.1.1/Setting-up-a-Storm-cluster.html

Kafka环境搭建参考官方文档:
http://kafka.apache.org/quickstart

到此，本文结束，谢谢阅读！


新闻标题：kafka和storm集群的环境安装
标题路径：http://pwwzsj.com/article/gccgsj.html

其他资讯