安装kafka并设置通过外网ip访问
1、kafka 安装
安装JDK
tar xvf jdk1.8.0_231.tar.gz -C /usr/local && cd /usr/local
ln -sv jdk1.8.0_231 jdk
vim /etc/profile.d/java.sh
JAVA_HOME=/usr/local/jdk
PATH=$JAVA_HOME/bin:$PATH
zookeeper安装(或使用kafka自带的)
vim /usr/local/kafka/zookeeper/conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper
clientPort=2181
maxClientCnxns=0
# 集群版的zookeeper添加如下配置
# server.1=ip1:2888:3888
# server.2=ip2:2888:3888
# server.3=ip3:28888:3888
下载kafka和安装kakfa
wget https://archive.apache.org/dist/kafka/0.10.2.1/kafka_2.11-0.10.2.1.tgz
tar xvf kafka_2.11-0.10.2.1.tgz -C /usr/local && cd /usr/local
ln -sv kafka_2.11-0.10.2.1.tgz kafka
修改kafka启动内存
vim /usr/local/kafka/bin/kafka-server-start.sh
export KAFKA_HEAP_OPTS="-Xmx2G -Xms2G"
kafka启动和停止
/usr/local/kafka/bin/zookeeper-server-start.sh -deamon /usr/local/kafka/conf/zookeeper.properties
/usr/local/kafka/bin/kafka-server-start.sh -deamon /usr/local/kafka/conf/server.properties
/usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/conf/server.properties
/usr/local/kafka/bin/zookeeper-server-stop.sh /usr/local/kafka/conf/zookeeper.properties
单独安装kafka的启停方式
/usr/local/zookeeper/bin/zkServer.sh stop|stop
2、 kafka 设置外网访问(如有需要提供外网访问)
前提条件
需要一个解析到内网ip地址的域名,内网环境也可以设置/etc/hosts
成都创新互联坚持“要么做到,要么别承诺”的工作理念,服务领域包括:成都做网站、成都网站建设、企业官网、英文网站、手机端网站、网站推广等服务,满足客户于互联网时代的钦南网站设计、移动媒体设计的需求,帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴!
参数设置
host.name=kafka.test.com(对应的域名解析需要解到内网ip)
高版本已弃用。低版本0.10.2.1可以用, 仅当listeners属性未配置时被使用,已用listeners属性代替。表示broker的hostname
advertised.listeners=PLAINTEXT://kafka.test.com:9092(高版本用,替代host.name,设置了advertised.listeners不用设置host.name)
注册到zookeeper上并提供给客户端的监听器,如果没有配置则使用listeners。
advertised.host.name(不需要设置,仅作参考)
已弃用。仅当advertised.listeners或者listeners属性未配置时被使用。官网建议使用advertised.listeners
listeners(不需要设置,仅作参考)
需要监听的URL和协议,如:PLAINTEXT://myhost:9092,SSL://:9091 CLIENT://0.0.0.0:9092,REPLICATION://localhost:9093。如果未指定该配置,则使用java.net.InetAddress.getCanonicalHostName()函数的的返回值
修改上broker的/etc/hosts文件
[内网ip] kafka.test.com
修改外网访问服务器上的/etc/hosts文件
[外网ip] kafka.test.com
3、kafka消费调试
生产者
/usr/local/kafka/bin/kafka-console-producer.sh --broker-list IP:9092 --topic TOPIC
消费者
/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server IP:9092 --topic TOPIC--from-beginning --max-messages 1
/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server 外网IP:9092 --topic TOPIC --from-beginning --max-messages 1
4、logstash调试
output {
stdout { codec => rubydebug { metadata => true } }
}
5、logstash无法消费kakfa日志的问题排查
a、topics_pattern 通配问题".* ","."一定不能少
topics_pattern=>"prefix-.*"
b、filter中匹配规则,注意要能匹配到kafka中topic,不同的filebeat和不同的logstash版本对应的topic元数据可能不太一样,这点需要注意
if [type] =~ "prefix-*" {
grok { match =>["[type]","^prefix-(?)"] }
}
if [kafka][topic] =~ "prefix-*" {
grok { match => [ "[kafka][topic]", "^prefix-(?.*$)" ]}
}
if [@metadata][topic] =~ "prefix-*" {
grok { match =>["[@metadata][topic]","^prefix-(?)"] }
}
if [@metadata][kafka][topic] =~ "prefix-*" {
grok { match => [ "[@metadata][kafka][topic]", "^prefix-(?.*$)" ]}
}
外网kakfa消费参考:https://www.maiyewang.com/archives/17993
名称栏目:安装kafka并设置通过外网ip访问
浏览路径:http://pwwzsj.com/article/gijedc.html