查看 kafka 版本信息
find /opt/kafka/libs/ -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*'
示例: kafka/libs/kafka_2.12-2.2.0.jar 前面 2.12 为 Scala 版本 后面 2.2.0 为 kafka 版本
脚本在 kafka 安装的 bin 目录下
启动 kafka
./kafka-server-start.sh -daemon ../config/server.properties
创建 topic:
./kafka-topics.sh --create --zookeeper 172.19.1.58:2181 --replication-factor 1 --partitions 2 --topic aas-audit-log
--replication-factor 代表每个分区在集群中复制的份数, 后面的值要小于 kafka 集群中服务器数量,--partitions 表示创建主题的分区数量, 一般分区越大, 性能越好,--topic 后边儿就是创建主题的名字
修改主题分区
./kafka-topics.sh --alter --zookeeper localhost:2181 --topic aas-audit-log --partitions 2
查看所有的 topic:
./kafka-topics.sh --list --zookeeper 172.19.1.58:2181
删除 topic(需要配置服务文件)
./kafka-topics.sh --delete --zookeeper 172.19.1.58:2181 --topic aas-audit-log
启动 KafkaOffsetMonitor
java -cp KafkaOffsetMonitor-assembly-0.3.0-SNAPSHOT.jar com.quantifind.kafka.offsetapp.OffsetGetterweb --offsetStorage kafka --zk 172.19.1.58:2181 --port 8080 --refresh 10.seconds --retain 2.days
查看 kafka 偏移量
./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 172.19.1.58:9092 --topic aas-audit-log --time -1
查看 kafka 消费情况
./kafka-consumer-groups.sh --Bootstrap-server 172.19.1.58:9092 --describe --group myContainer
含权限查看 kafka 消费情况
- ./kafka-consumer-groups.sh --Bootstrap-server 172.19.1.58:9092 --describe --group myContainer --command-config ../config/sasl-plain.properties
- TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG
主题 分区 当前已消费的条数 总消费条数 未消费的条数
查看相应文件内容可以通过 kafka-run-class.sh 脚本查看 .log :
./kafka-run-class.sh kafka.tools.DumpLogSegments --files /tmp/kafka-logs-2/aas-audit-log-0/00000000000000000000.log
生产者
./kafka-console-producer.sh --broker-list 172.19.1.58:9092 --topic aas-audit-log
消费者
./kafka-console-consumer.sh --Bootstrap-server 172.19.1.58:9092 --topic aas-audit-log
1. 有可能是你的 server.properties 配置的问题, 其中的每一台机子的
broker.id=1
都要不相同
2. 你可能没启动 kafka 中的 broker
进入 {zookeeper_home}/bin 目录下
./zkCli.sh
然后
ls /brokers/ids
你会看到自己的节点数 (是否是和你启动的是一样的)
如果不一样, 那就重新启动 kafka
查看消费记录
./kafka-console-consumer.sh --topic __consumer_offsets --Bootstrap-server 172.19.1.58:9092 --formatter "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter" --from-beginning
含权限
./kafka-consumer-groups.sh --Bootstrap-server 172.19.1.58:9092 --command-config ../config/sasl-plain.properties --list
来源: http://www.bubuko.com/infodetail-3446427.html