小菜鸟

Kafka 生产者 API 详解与实践

Kafka 生产者（Producer）是消息的发送端，负责将业务数据发送到 Kafka 集群。通过 Kafka 提供的 Producer API，我们可以灵活配置生产者行为，支持同步 / 异步发送、自定义分区策略、消息压缩等功能。本文将详细介绍生产者的实现步骤、核心配置及不同发送方式的代码示例

生产者核心概念与配置

核心配置参数

创建生产者时，需通过 Properties 对象配置关键参数，其中必选参数有三个：

常用可选参数（参考 ProducerConfig 类）：

生产者工作原理

Kafka 生产者发送消息的流程如下：

Kafka 消费者 API 详解与实践

Kafka 消费者（Consumer）是消息的接收端，负责从 Kafka 集群拉取并处理消息。与生产者相比，消费者的核心挑战在于可靠地消费消息（避免丢失或重复）、高效地分配分区负载以及灵活地管理消费位置。本文将详细解析 Kafka 消费者 API 的使用方法，包括配置、订阅方式、偏移量管理及多线程消费等关键场景。

消费者核心配置与初始化

必选配置参数

创建消费者时，需通过 Properties 配置以下核心参数：

关键可选配置

初始化消费者

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

import org.apache.kafka.clients.consumer.KafkaConsumer;
import java.util.Properties;

public class KafkaConsumerDemo {
    private static KafkaConsumer<String, String> initConsumer() {
        Properties props = new Properties();
        // 必选配置
        props.put("bootstrap.servers", "localhost:9092");
        props.put("group.id", "test-group");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        
        // 可选配置：关闭自动提交，使用手动提交
        props.put("enable.auto.commit", "false");
        // 偏移量无效时从最早消息开始消费
        props.put("auto.offset.reset", "earliest");
        
        return new KafkaConsumer<>(props);
    }
}

订阅主题的四种方式

Kafka 提供了灵活的主题订阅方式，支持按主题名、正则表达式订阅，还可指定重平衡监听器。

按主题名订阅（基础方式）

通过 subscribe(Collection<String> topics) 订阅一个或多个主题：

Spring 集成 Kafka 详解：生产者、消费者与监听机制

Spring Kafka 是 Spring 生态对 Kafka 的集成封装，简化了 Kafka 生产者和消费者的配置与使用。它通过注解驱动、模板类（KafkaTemplate）和监听容器（MessageListenerContainer），实现了与 Spring 应用的无缝对接。本文将详细介绍 Spring Kafka 的核心组件、生产者 / 消费者实现及监听器生命周期管理。

Spring Kafka 核心组件

Spring Kafka 的设计遵循 Spring 一贯的 “模板 + 注解” 风格，核心组件包括：

环境配置

引入依赖

在 Maven 项目中添加 spring-kafka 依赖（需与 Kafka 版本兼容，如 Kafka 2.3.x 对应 Spring Kafka 2.3.x）：

Redis 安装指南：从 macOS 到源码编译的完整步骤

Redis（Remote Dictionary Server）是一款高性能的开源键值对数据库，支持多种数据结构，广泛用于缓存、会话存储、消息队列等场景。本文详细介绍在 macOS 系统中通过包管理工具（Homebrew）和源码编译两种方式安装 Redis 的步骤，以及基本的服务管理操作。

macOS 下通过 Homebrew 安装（推荐）

Homebrew 是 macOS 下的包管理工具，通过它安装 Redis 简单高效，适合大多数用户。

1. 安装 Homebrew（若未安装）

打开终端，执行以下命令安装 Homebrew：

1

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

2. 安装 Redis

1

brew install redis

• 该命令会自动下载并安装最新稳定版 Redis，同时配置环境变量，确保 redis-server、redis-cli 等命令可直接使用。

3. 配置 Redis（可选）

Redis 的配置文件 redis.conf 是核心配置入口，通过 Homebrew 安装的 Redis 配置文件路径可通过以下命令查看：

1

brew list redis  # 列出 Redis 安装的所有文件，其中包含 redis.conf 的路径（通常为 /usr/local/etc/redis.conf）

常用配置修改（使用文本编辑器打开 redis.conf）：

• 后台启动：默认 Redis 以前台模式运行，修改为后台启动：

Java IO 全解析：从基础流到序列化

Java 的 I/O（输入 / 输出）机制是程序与外部世界（文件、网络、控制台等）交互的核心，其设计围绕 “流（Stream）” 展开 —— 通过流的方式有序传输数据。本文将从 I/O 操作模式出发，详细解析 Java IO 体系的核心类、使用方法及最佳实践。

I/O 操作模式：五种基本类型

I/O 操作的本质是 “数据从设备到内核缓冲区，再从缓冲区到用户进程” 的过程。根据等待数据的方式不同，分为五种模式：

注：Java 传统 IO（java.io）主要基于阻塞 I/O，而 NIO（java.nio）引入了 I/O 复用机制。

Java IO 核心体系：流的分类

Java IO 包（java.io）的类按功能可分为四大类，核心是 “字节流” 和 “字符流”：

字节流：处理二进制数据

字节流以字节（8 位）为单位传输数据，是所有 I/O 操作的基础。核心基类为抽象类 InputStream（输入）和 OutputStream（输出）。

字节输入流（InputStream）

所有字节输入流均继承自 InputStream，用于从数据源读取字节。

核心子类及功能

装饰器子类（FilterInputStream）

通过 “装饰器模式” 为基础流添加功能（如缓冲、数据类型转换）：