在Ubuntu上搭建Kafka集群需要一些步骤,以下是详细的步骤:
下载Kafka安装包。例如,下载Kafka 2.6.0版本:
wget https://archive.apache.org/dist/kafka/2.6.0/kafka_2.13-2.6.0.tgz
解压Kafka安装包:
tar -zxvf kafka_2.13-2.6.0.tgz
创建存放Kafka消息的目录:
mkdir -p /opt/kafka/kafka-logs
修改配置文件 server.properties
,包括设置broker.id
、listeners
、log.dirs
和zookeeper.connect
等参数。例如:
broker.id=0
listeners=PLAINTEXT://your_first_node_ip:9092
log.dirs=/opt/kafka/kafka-logs
zookeeper.connect=your_first_node_ip:2181,your_second_node_ip:2181,your_third_node_ip:2181
分发Kafka安装目录到其他集群节点并修改broker.id
为不一样的值。
编写Kafka集群操作脚本,用于启动和停止Kafka集群。
启动Kafka服务:
/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties
验证Kafka是否启动成功,使用以下命令检查Kafka broker是否在监听端口9092:
netstat -tulnp | grep 9092
创建测试主题:
/opt/kafka/bin/kafka-topics.sh --create --bootstrap-server 192.168.1.111:9092,192.168.1.112:9092,192.168.1.113:9092 --replication-factor 3 --partitions 1 --topic test-topic
列出主题:
/opt/kafka/bin/kafka-topics.sh --list --bootstrap-server 192.168.1.111:9092,192.168.1.112:9092,192.168.1.113:9092
生产消息:
/opt/kafka/bin/kafka-console-producer.sh --broker-list 192.168.1.111:9092,192.168.1.112:9092,192.168.1.113:9092 --topic test-topic
消费消息:
/opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server 192.168.1.111:9092,192.168.1.112:9092,192.168.1.113:9092 --topic test-topic --from-beginning
以上步骤应该可以帮助你在Ubuntu上成功搭建Kafka集群。如果在执行过程中遇到问题,可以参考Kafka官方文档或相关社区论坛寻求帮助。
辰迅云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>
推荐阅读: ubuntu系统日志查看的方法是什么