最近有一个测试环境项目环境需要搞个kafka,整个单节点的步骤吧,后面再上多节点的。

一、环境准备

1.1 系统要求

一台 Linux 服务器(虚拟机、物理机或云主机均可)

建议配置:2 核 CPU / 4GB 内存 / 20GB 以上磁盘空间

操作系统:CentOS 7/8/9、Ubuntu 20.04/22.04、Debian 10/11 等

sudo yum install -y java-11-openjdk-devel

1.2 验证 Java 版本

我这个是之前装好的jdk8

java -version

 1.3 关闭防火墙

1.4 创建数据目录

sudo mkdir -p /data/kafka-logs

sudo chown -R $(whoami):$(whoami) /data/kafka-logs

二、安装 Kafka

2.1 下载二进制包

cd /opt

sudo wget https://archive.apache.org/dist/kafka/3.7.2/kafka_2.13-3.7.2.tgz

2.2 解压并创建软链接

sudo tar -xzf kafka_2.13-3.7.2.tgz

sudo chown -R $(whoami):$(whoami) kafka kafka_2.13-3.7.2

        

2.3 配置环境变量

echo "export KAFKA_HOME=/usr/local/kaf/kafka" >> ~/.bashrc
echo 'export PATH=$PATH:$KAFKA_HOME/bin' >> ~/.bashrc
source ~/.bashrc

三、配置文件修改

/usr/local/kaf/kafka/config/server.properties

vim /usr/local/kaf/kafka/config/server.properties

我一般是把原来的删了,采用这个

# broker 唯一标识,单节点设为0,后面多节点再说,目前我这边只用到一个单节点
broker.id=0

# 监听地址:0.0.0.0 表示监听所有网卡
listeners=PLAINTEXT://0.0.0.0:9092

# 本机测试用 localhost;从其他机器访问,填实际IP
advertised.listeners=PLAINTEXT:// 27.192.128.44:9092

# 日志存储目录
log.dirs=/data/kafka-logs

# ZooKeeper 连接地址(使用内置 ZooKeeper 时连接本机2181)
zookeeper.connect=localhost:2181

# 可选优化配置(单节点无需高可用,但为了测试建议设置)
num.partitions=3
default.replication.factor=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1

四、启动服务

启动顺序:先 ZooKeeper,后 Kafka

4.1 启动 ZooKeeper(后台运行)

cd /usr/local/kaf/kafka

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.2 等待几秒后启动 Kafka

bin/kafka-server-start.sh -daemon config/server.properties

4.3 检查进程

jps

应看到 QuorumPeerMain(ZooKeeper) 和 Kafka 两个进程

4.4 查看日志(如有问题)

tail -f /usr/local/kaf/kafka/logs/server.log

tail -200f /usr/local/kaf/kafka/logs/zookeeper.out

五、验证部署

 5.1 创建测试主题

kafka-topics.sh --create \

  --topic test-topic \

  --bootstrap-server localhost:9092 \

  --partitions 3 \

  --replication-factor 1

5.2 查看主题列表

kafka-topics.sh --list --bootstrap-server localhost:9092

5.3 查看主题详情

kafka-topics.sh --describe --topic test-topic --bootstrap-server localhost:9092

5.4 消息生产与消费测试

打开第一个终端 27.192.128.44(生产者):

kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092

 输入一些消息,每行一条,例如:

asd

asdasd

fadas

打开第二个终端 27.192.128.44(消费者):

kafka-console-consumer.sh --topic test-topic --from-beginning --bootstrap-server localhost:9092

应该立即看到之前输入的消息。

至此,单节点 Kafka 已成功部署并验证。

六、停止服务

停止顺序:先 Kafka,后 ZooKeeper。

cd /usr/local/kaf/kafka
# 停止 Kafka
bin/kafka-server-stop.sh


# 停止 ZooKeeper
bin/zookeeper-server-stop.sh

Jps一下,看看进程消失没消失即可。

其他的就是写代码链接啥的推送啊消费啥的,主要是我们有一个测试环境要用到,一台足够测试用了。。

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐