kafka安装部署

2.8版本前

kafka:2.13-2.6.3 前面为scala版本后面为kafka版本

一定确定,kafka服务端版本和客户端版本,和zk的关系

参考:https://zhuanlan.zhihu.com/p/359573455

相对稳定版本:2.6.1 +

docker 部署脚本

强烈建议docker compose部署,非以下模式

ZK部署

1
2
3
4
5
6
7
8
docker run -d --name zookeeper-zq \
--restart always \
-p 2182:2181 -p 2888:2888 -p 3888:3888 \
-v /docker/zookeeper_zq/conf:/conf \
-v /docker/zookeeper_zq/data:/data \
-v /docker/zookeeper_zq/datalog:/datalog \
-v /etc/localtime:/etc/localtime \
zookeeper:3.6

kafka部署

1
2
3
4
5
6
docker run  -d --name kafka -p 9092:9092 -p 9094:9094 -e KAFKA_BROKER_ID=0 \
-e KAFKA_ZOOKEEPER_CONNECT=192.168.30.199:2182 -e KAFKA_ADVERTISED_LISTENERS=INSIDE://192.168.30.199:9092,OUTSIDE://192.168.30.199:9094 \
-e KAFKA_LISTENERS=INSIDE://0.0.0.0:9092,OUTSIDE://0.0.0.0:9094 -e KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT \
-e KAFKA_INTER_BROKER_LISTENER_NAME=INSIDE -e KAFKA_LOG_DIRS=/kafka/logs -e TZ="Asia/Shanghai" \
-v /docker/kafka/logs:/kafka/logs -t wurstmeister/kafka:2.13-2.6.3

KAFKA_ZOOKEEPER_CONNECT 参数后面不要加路径,避免众多kafka工具不支持自定义路径。

配套观察工具

kafka-eagle

参考

https://www.codeleading.com/article/36874712175/