HDFS（Hadoop Distributed File System）作为 Hadoop 生态的核心分布式存储系统，其命令操作与 Linux Shell 命令高度相似，仅需添加 hadoop fs 或 hdfs dfs 前缀即可使用。其中 dfs 是 fs 的具体实现，实际使用中两者功能基本一致。本文将详细解析 HDFS 的核心操作命令，帮助读者快速掌握 HDFS 的日常管理与使用。
HDFS 命令的基本语法格式为：
1 | hdfs dfs [通用选项] [命令] [命令参数] |
-conf <配置文件>：指定应用程序配置文件-D <property=value>：定义配置属性值-fs <文件系统>：指定默认文件系统（如 hdfs://namenode:port 或 file:///）-jt <资源管理器>：指定 ResourceManager 地址HDFS（Hadoop Distributed File System）作为 Hadoop 生态的核心存储组件，借鉴 Google GFS 的设计理念，专为海量数据存储优化。其主从架构、数据块机制和副本策略使其能在廉价硬件上提供高容错性和高吞吐量。本文将从 HDFS 的核心问题、架构组件、关键机制到最佳实践进行全面解析，帮你彻底掌握 HDFS 的工作原理。
在大数据时代，传统单机文件系统无法应对 PB 级数据的存储需求，HDFS 的出现正是为了解决两大核心痛点：
单机硬盘容量有限（如单盘 20TB），无法存储 PB 级数据。HDFS 通过 分布式存储 将数据分散到集群的多个节点（DataNode），理论上可通过无限增加节点扩展存储容量，突破单机限制。
单机存储存在硬盘故障导致数据丢失的风险。HDFS 通过 多副本机制 将数据块（Block）复制到多个 DataNode（默认 3 个副本），即使部分节点故障，数据仍可通过其他副本恢复，确保高容错性。
HDFS 采用 Master-Slave 架构，由 NameNode（主节点）、DataNode（从节点）、Secondary NameNode（辅助节点） 和 Client（客户端） 组成，各组件分工明确，协同实现分布式文件存储。
graph TD
A[Client
客户端] -->|1. 元数据交互| B[NameNode
主节点 元数据管理]
A -->|2. 数据读写| C[DataNode1] & D[DataNode2] & E[DataNode3]
B -->|3. 心跳/块报告| C & D & E
B -->|4. 元数据合并| F[Secondary NameNode
辅助节点]
C & D & E -->|存储数据| G[本地磁盘
Block 副本]
note[核心分工 NameNode 管元数据,DataNode 存数据,Client 直接读写数据节点]
在广告投放中，创意轮播是一种常见策略，通过让同一广告单元下的多个创意按顺序或比例交替展示，帮助广告主对比不同创意的效果（如点击率、转化率），优化投放策略。本文将详细介绍基于 Redis 和 HBase 的创意轮播实现方案，分析其适用场景与优化思路。
创意轮播的核心目标是让多个创意 “雨露均沾”，确保各创意的曝光量尽可能均衡。具体需求包括：
Redis 凭借内存存储的高效性，适合作为创意轮播的实时存储方案，尤其适用于对响应速度要求高的场景（如信息流广告、开屏广告）。
用户ID:广告单元ID（uid:dealId）的格式，唯一标识 “用户 - 广告单元” 组合。Java AIO（Asynchronous IO，异步 IO）是 JDK 1.7 引入的 IO 模型，基于 “异步非阻塞” 思想，通过 Proactor 模式实现，将 IO 操作的全过程（数据准备 + 内核到用户缓冲区的复制）交由操作系统完成，最终通过回调函数通知应用程序结果。相比 NIO 的 “同步非阻塞”，AIO 进一步解放了应用程序的 CPU 资源，适用于高并发、IO 密集型场景。
AIO 采用 Proactor 模式（与 NIO 的 Reactor 模式相对），核心特点是：
| 维度 | NIO（同步非阻塞） | AIO（异步非阻塞） |
|---|---|---|
| 操作方式 | 应用程序需主动轮询或处理事件队列 | 操作系统完成全流程后通知应用程序 |
| 核心模式 | Reactor（反应器模式） | Proactor（前摄器模式） |
| 数据复制 | 应用程序主动调用 read/write 完成 |
操作系统自动完成，应用程序直接使用结果 |
| 性能开销 | 需遍历事件队列，存在一定 CPU 消耗 | 无轮询开销，CPU 利用率更高 |
| 适用场景 | 高并发网络通信（如服务器） | IO 密集型场景（如大文件传输、异步通信） |
AIO 的核心类位于 java.nio.channels 包中，主要包括：
| 类 / 接口 | 功能描述 | 典型方法 |
|---|---|---|
AsynchronousChannel |
异步通道的根接口，定义异步关闭方法 | close() |
AsynchronousServerSocketChannel |
异步服务器套接字通道，用于监听客户端连接 | open()、bind()、accept() |
AsynchronousSocketChannel |
异步客户端套接字通道，用于数据传输 | open()、connect()、read()、write() |
CompletionHandler |
异步操作的回调接口，处理成功 / 失败结果 | completed(V result, A attachment)、failed(Throwable exc, A attachment) |
AIO 操作通常通过两种方式获取结果：回调函数（CompletionHandler） 和 Future 对象。以下以网络通信为例，展示 AIO 的核心用法。
传输层是网络通信的核心枢纽，其中TCP（传输控制协议） 和UDP（用户数据报协议） 是两种最核心的协议。TCP 以可靠性著称，适用于需要精确数据传输的场景；UDP 以高效性为亮点，适合实时性要求高的应用。以下从协议细节、连接机制到核心特性进行全面解析。
TCP（Transmission Control Protocol）是一种基于连接、可靠、有序的传输协议，通过复杂的控制机制确保数据准确无误地从发送方交付到接收方。
TCP 报文通过序号、确认号和标志位实现可靠传输，这些字段是理解 TCP 工作机制的关键：
seq表示当前报文段第一个字节的序号（如发送 100 字节数据，seq=1000，则该报文包含 1000-1099 字节）。ACK=1时，确认号（ack）有效；ACK=0时，ack 无效（仅在第一次握手时使用）。SYN=1表示 “请求建立连接”，此时报文不携带数据。FIN=1表示 “发送方已完成数据传输，请求关闭连接”。TCP 是面向连接的协议，通信前必须通过 “三次握手” 建立连接，确保双方收发能力正常。