小菜鸟

Nginx 搭建文件服务器：快速实现文件共享与管理

Nginx 不仅是高性能的 Web 服务器和反向代理，还能通过简单配置搭建轻量级文件服务器，用于共享文档、图片、安装包等资源。本文详细讲解 Nginx 文件服务器的配置方法、功能优化及上传限制设置，帮助快速构建实用的文件共享服务。

基础配置：开启目录浏览

Nginx 默认不显示目录结构，需通过autoindex系列指令开启目录浏览功能，核心配置如下：

1
2
3
4
5
6
7
8
9
10
11

server {
    listen 9090;  # 监听端口（如9090）
    server_name _;  # 匹配任意域名（可改为具体域名如file.example.com）
    root /share/file;  # 文件存储的根目录（需提前创建）
    charset utf-8;  # 支持中文文件名显示

    # 开启目录浏览核心配置
    autoindex on;  # 启用目录列表显示（默认关闭）
    autoindex_exact_size on;  # 显示文件精确大小（单位为字节），off则显示KB/MB等
    autoindex_localtime on;  # 显示文件的本地修改时间（默认显示GMT时间）
}

配置说明

1. root /share/file：
   • 指定文件服务器的根目录，所有文件需存放在该目录下（如/share/file/docs/、/share/file/images/）；
   • 需确保 Nginx 进程对该目录有读取权限（可执行chmod 755 /share/file）。
2. 目录浏览优化：
   • autoindex_localtime on：让文件修改时间显示为服务器本地时间（更直观）；
   • charset utf-8：避免中文文件名乱码（关键配置）。

访问效果与目录结构

配置完成后，重启 Nginx（nginx -s reload），通过http://服务器IP:9090访问：

SCP 命令详解：跨机器文件传输的高效工具

scp（Secure Copy）是基于 SSH 协议的跨机器文件传输命令，具有安全性高、使用简单的特点，常用于服务器之间或本地与服务器之间的文件同步。本文将详细介绍 scp 的用法、参数及实战技巧。

scp 基本语法与核心参数

基本语法

1

scp [参数] 源文件 目标路径

• 源文件 / 目标路径格式：
  • 本地路径：直接使用绝对路径（如 /home/user/file.txt）或相对路径（如 ./docs）。
  • 远程路径：用户名@主机地址:文件路径（如 root@192.168.1.100:/var/log）。

核心参数

常见传输场景示例

本地文件 → 远程服务器

yarn日志聚集详解：配置、原理与实战

在 Hadoop YARN 中，日志聚集（Log Aggregation）是一项关键功能，用于收集分布式集群中各个节点的任务日志并集中存储，解决了分散日志难以管理和排查问题的痛点。本文将详细解析日志聚集的作用、配置方法、实现原理及最佳实践。

日志聚集的核心作用

在未启用日志聚集时，YARN 任务日志分散存储在各个 NodeManager 节点的本地磁盘（如 $HADOOP_HOME/logs/userlogs/），存在以下问题：

• 日志分散：需逐个节点登录查看日志，排查问题效率低；
• 存储风险：NodeManager 节点磁盘空间有限，日志可能被清理或覆盖；
• 权限问题：用户可能没有节点登录权限，无法直接访问日志。

日志聚集功能通过以下方式解决上述问题：

• 任务完成后，自动将分散在各节点的日志上传至 HDFS 集中存储；
• 支持通过 YARN Web UI 或命令行统一查看日志；
• 可配置日志保留时间，自动清理过期日志，节省存储空间。

日志聚集的配置方法

日志聚集功能需在 yarn-site.xml 中配置，核心参数如下：

核心配置参数

完整配置示例

在 $HADOOP_HOME/etc/hadoop/yarn-site.xml 中添加以下配置：

hadoop历史服务器详解：配置、启动与日志查询

在 YARN 集群中，默认情况下无法通过 ResourceManager Web UI 查看已完成作业的历史日志。历史服务器（JobHistoryServer）的作用是 收集、存储和展示 MapReduce 作业的历史运行日志，帮助用户追溯作业执行详情（如任务耗时、失败原因）。本文将详细解析历史服务器的配置方法、启动流程及日志查询方式。

历史服务器的核心作用

在未配置历史服务器时，YARN 的 ResourceManager Web UI 仅能显示当前运行中的作业，已完成作业的日志无法直接访问。历史服务器解决了以下问题：

• 追溯历史作业：存储已完成作业的配置、统计信息和任务日志；
• 问题排查：通过历史日志分析作业失败原因（如内存溢出、数据倾斜）；
• 性能优化：基于历史作业的运行指标（如 Map/Reduce 耗时）优化资源配置。

历史服务器配置步骤

核心配置参数

历史服务器的配置需在 mapred-site.xml 中完成，关键参数如下：

配置文件修改

编辑 $HADOOP_HOME/etc/hadoop/mapred-site.xml，添加以下配置：

hadoop三种运行模式详解：从单机调试到集群部署

Hadoop 提供三种运行模式，分别适配 开发调试、功能验证、生产环境 不同场景。本文将详细解析单机模式、伪分布式模式和完全分布式模式的配置方法、适用场景及核心差异，帮助读者快速搭建符合需求的 Hadoop 环境。

Hadoop 运行模式概述

Hadoop 的三种运行模式本质上是 集群规模和资源隔离程度 的差异，核心组件（HDFS、YARN、MapReduce）的启动方式和交互逻辑随模式变化：

通用前置配置

无论哪种模式，均需先配置 Java 环境 和 Hadoop 环境变量：

配置 JAVA_HOME

修改 hadoop-env.sh（位于 $HADOOP_HOME/etc/hadoop/），指定 Java 安装路径：

1
2
3
4
5

# 编辑配置文件  
vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh  

# 添加 Java 路径（需替换为实际路径）  
export JAVA_HOME=/usr/local/jdk1.8.0_261