目录:
MetaData 信息
Kafka 偏移量
MetaData 信息
客户端如何知道该往哪个节点发送请求来获取数据: 通过元数据.
元数据 (MetaData) 是什么: topic,topic 的分区, 每个分区有哪些副本, 哪个副本是 leader 等信息.
一般情况下客户端会缓存元数据, 并直接往目标 broker 上发送生产和获取请求, 并且客户端还会定时的刷新自己的元数据.
Kafka 偏移量
说偏移量之前先介绍下 Kafka GUI(Kafka graphical user interface), 因官方没有提供, 所以采用使用较多的工具.
Kafka Tool 地址: http://www.kafkatool.com/download.html
Kafka Manager 地址: https://github.com/yahoo/kafka-manager
KafkaOffsetMonitor 地址: https://github.com/Morningstar/kafka-offset-monitor
KafkaOffsetMonitor 配置:
KafkaOffsetMonitor 启动脚本(如: kafkaoffset_monitor.sh, 记得给脚本赋执行权限)
java -cp KafkaOffsetMonitor-assembly 0.46-SNAPSHOT.jar com.quantifind.kafka.offsetapp.OffsetGetterweb--offsetStorage kafka --kafkaBrokers ip1:port1,ip2:port2,ip3:port3 --zk ip1:port1,ip2:port2,ip3:port3 --port 8088--refresh 10.seconds --retain 2.days
--offsetStorage: 指明 offset 信息由 kafka 来保存, 而非 zookeeper
--refresh: 多少秒刷新一次信息
--retain: 信息保存到数据库多少天
Kafka 学习笔记(五, Kafka 偏移量)
来源: http://www.bubuko.com/infodetail-3394897.html