概念:
kafka 是一种消息中间件
作用:
解耦, 冗余, 提高扩展性, 缓冲
保证顺序, 灵活, 削峰填谷
异步通信
kafla 角色
producer: 生产者, 负责发布消息
consumer: 消费者, 负责读取处理消息
topic: 消息的类别
Partition: 每个 Topic 包含一个或多个 Partition
Broker: Kafka 集群包含一个或复哦歌服务器
** Kafka 通过 Zookeeper 管理集群配置, 选举 Leader
源码安装 /usr/local/kafka/config
修改配置文件 VIM server.properties
- broker.id=22
- zookeeper.connect=node1:2181,node2:2181,node3:2181
拷贝 kafka 到其他主机, 并修改 broker.id , 不能重复
rsync -aSH --delete /usr/local/kafka node1:/usr/local/
启动集群 (所有节点)
/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties
验证配置, 传件一个 topic
/usr/local/kafka/bin/kafka-topics.sh --create --partitions 1 --replication-factor 1 --zookeeper node3:2181 --topic aa
模拟生产者, 发布消息
/usr/local/kafka/bin/kafka-console-producer.sh --broker-list node2:9092 --topic aa // 写一个数据
模拟消费者, 接收消息
/usr/local/kafka/bin/kafka-console-consumer.sh --Bootstrap-server node1:9092 --topic aa
来源: http://www.bubuko.com/infodetail-2973347.html