如何在Ubuntu上搭建Kafka集群

915
2025/4/2 12:33:04
栏目: 智能运维
开发者测试专用服务器限时活动,0元免费领,库存有限,领完即止! 点击查看>>

在Ubuntu上搭建Kafka集群需要一些步骤,以下是详细的步骤:

前期准备

  1. 准备至少三台虚拟机,用于部署Kafka集群。确保虚拟机上配置有SSH服务,以便进行免密登录。
  2. 安装JDK,Kafka运行在JVM上,需要安装JDK。
  3. 安装ZooKeeper,Kafka依赖ZooKeeper,需要安装ZooKeeper。

安装Kafka

  1. 下载Kafka安装包。例如,下载Kafka 2.6.0版本:

    wget https://archive.apache.org/dist/kafka/2.6.0/kafka_2.13-2.6.0.tgz
    
  2. 解压Kafka安装包

    tar -zxvf kafka_2.13-2.6.0.tgz
    
  3. 创建存放Kafka消息的目录

    mkdir -p /opt/kafka/kafka-logs
    
  4. 修改配置文件 server.properties,包括设置broker.idlistenerslog.dirszookeeper.connect等参数。例如:

    broker.id=0
    listeners=PLAINTEXT://your_first_node_ip:9092
    log.dirs=/opt/kafka/kafka-logs
    zookeeper.connect=your_first_node_ip:2181,your_second_node_ip:2181,your_third_node_ip:2181
    
  5. 分发Kafka安装目录到其他集群节点并修改broker.id为不一样的值。

启动Kafka集群

  1. 编写Kafka集群操作脚本,用于启动和停止Kafka集群。

  2. 启动Kafka服务

    /opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties
    
  3. 验证Kafka是否启动成功,使用以下命令检查Kafka broker是否在监听端口9092:

    netstat -tulnp | grep 9092
    

验证集群

  1. 创建测试主题

    /opt/kafka/bin/kafka-topics.sh --create --bootstrap-server 192.168.1.111:9092,192.168.1.112:9092,192.168.1.113:9092 --replication-factor 3 --partitions 1 --topic test-topic
    
  2. 列出主题

    /opt/kafka/bin/kafka-topics.sh --list --bootstrap-server 192.168.1.111:9092,192.168.1.112:9092,192.168.1.113:9092
    
  3. 生产消息

    /opt/kafka/bin/kafka-console-producer.sh --broker-list 192.168.1.111:9092,192.168.1.112:9092,192.168.1.113:9092 --topic test-topic
    
  4. 消费消息

    /opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server 192.168.1.111:9092,192.168.1.112:9092,192.168.1.113:9092 --topic test-topic --from-beginning
    

以上步骤应该可以帮助你在Ubuntu上成功搭建Kafka集群。如果在执行过程中遇到问题,可以参考Kafka官方文档或相关社区论坛寻求帮助。

辰迅云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>

推荐阅读: ubuntu系统日志查看的方法是什么