小菜鸟

Spring MVC Web 上下文初始化机制详解：从 web.xml 到注解配置

Web 上下文（WebApplicationContext）是 Spring MVC 在 Web 环境中的核心容器，负责管理 Bean 的生命周期并与 Servlet 容器集成。其初始化过程与 ServletContext 紧密绑定，生命周期完全一致。从 “传统 web.xml 配置→ContextLoaderListener 工作原理→Servlet 3.0 注解配置” 三个维度，彻底解析 Spring MVC Web 上下文的初始化机制。

Web 上下文与 ServletContext 的关系

在 Web 应用中，ServletContext 是 Servlet 容器（如 Tomcat）提供的全局上下文对象，代表整个 Web 应用，生命周期从应用启动到停止。而 Spring 的 WebApplicationContext 是 Spring 在 Web 环境中的 IOC 容器，依赖 ServletContext 存在，并通过 ServletContext 存储和获取，两者生命周期完全同步。

• 存储位置：WebApplicationContext 初始化后，会以固定键值（WebApplicationContext.ROOT_WEB_APPLICATION_CONTEXT_ATTRIBUTE，即 org.springframework.web.context.WebApplicationContext.ROOT）存入 ServletContext 的属性中，方便后续获取。
• 核心作用：WebApplicationContext 管理 Web 相关的 Bean（如 Controller、Service、Repository 等），并整合 Spring 与 Servlet 容器的交互（如请求处理、会话管理等）。

传统配置：基于 web.xml 与 ContextLoaderListener

在 Servlet 3.0 之前，Web 上下文的初始化依赖 web.xml 配置，核心是通过 ContextLoaderListener 触发初始化流程。

1. web.xml 核心配置

1
2
3
4
5
6
7
8
9
10
11

<!-- 1. 配置 ContextLoaderListener：触发 Web 上下文初始化 -->
<listener>
    <listener-class>org.springframework.web.context.ContextLoaderListener</listener-class>
</listener>

<!-- 2. 配置上下文配置文件路径（可选，默认有默认值） -->
<context-param>
    <param-name>contextConfigLocation</param-name>
    <!-- 多个配置文件用逗号分隔，支持 classpath: 或 /WEB-INF/ 前缀 -->
    <param-value>classpath:applicationContext.xml</param-value>
</context-param>

• ContextLoaderListener：实现 ServletContextListener 接口，监听 ServletContext 的初始化和销毁事件，是 Web 上下文的 “启动器”。
• contextConfigLocation：指定 Spring 配置文件的位置，若不配置则使用默认路径（/WEB-INF/applicationContext.xml）。

ContextLoaderListener 工作原理

ContextLoaderListener 继承 ContextLoader 类，通过重写 ServletContextListener 的回调方法，将 Web 上下文的初始化与 ServletContext 生命周期绑定。

核心源码解析

Yarn工作机制详解：从作业提交流程到资源调度全解析

YARN（Yet Another Resource Negotiator）作为 Hadoop 的资源管理中枢，负责协调集群资源并调度应用程序执行。其工作机制围绕 资源申请、任务分配、执行监控 三个核心环节展开，支持 MapReduce、Spark 等多种计算框架。本文将通过 11 个关键步骤，深度解析 YARN 的完整工作流程，揭示资源管理器、节点管理器与应用主控之间的协同机制。

YARN 核心实体与角色分工

在解析工作流程前，需明确 YARN 中的五大核心实体及其职责，它们共同支撑作业从提交到完成的全生命周期：

YARN 完整工作流程（11 步详解）

YARN 作业的执行流程可分为 作业提交、资源申请、任务启动、执行监控 四个阶段，每个阶段涉及多实体协同。以下以 MapReduce 作业为例，拆解 11 个关键步骤：

阶段 1：作业提交（步骤 1-4）

目标：客户端将作业资源上传至 HDFS，并向 ResourceManager 发起提交请求。

步骤 1：客户端初始化作业提交

• 用户通过 job.waitForCompletion(true) 提交 MapReduce 作业；
• 客户端创建 YarnRunner 和 JobSubmitter 实例，封装作业配置（如输入路径、Map/Reduce 类）；
• 验证作业合法性（如检查输入输出路径是否存在、配置是否完整）。

线性规划（LP）问题：定义与求解方法

线性规划（Linear Programming，简称 LP）是运筹学中研究较早、应用广泛的优化模型，核心是在一组线性约束条件下，求解线性目标函数的最大值或最小值。它在资源分配、生产计划、物流优化等领域有重要应用。

LP 问题的核心构成

一个标准的 LP 问题包含三个要素：

1. 决策变量：需要优化的未知量（通常记为x₁, x₂, ..., xₙ），代表实际问题中的可调整参数（如生产数量、运输量等）。
2. 目标函数：关于决策变量的线性函数，需最大化（max）或最小化（min）。
   形式：max/min z = c₁x₁ + c₂x₂ + ... + cₙxₙ（cᵢ为系数，代表各变量对目标的贡献）。
3. 约束条件：关于决策变量的线性等式或不等式，描述问题的限制（如资源总量、生产能力等）。
   形式：
   • 不等式约束：aᵢ₁x₁ + aᵢ₂x₂ + ... + aᵢₙxₙ ≤ bᵢ 或 ≥ bᵢ（i=1,2,...,m）
   • 等式约束：aᵢ₁x₁ + ... + aᵢₙxₙ = bᵢ
   • 非负约束：xᵢ ≥ 0（通常默认决策变量非负）

示例：简单 LP 问题

某工厂生产 A、B 两种产品，A 每件利润 3 元，B 每件利润 5 元。生产 1 件 A 需 2 小时工时，生产 1 件 B 需 3 小时工时，总工时不超过 12 小时。求最大利润。

• 决策变量：x₁（A 的产量），x₂（B 的产量）。
• 目标函数：max z = 3x₁ + 5x₂（最大化利润）。
• 约束条件：
  2x₁ + 3x₂ ≤ 12（工时约束），
  x₁ ≥ 0, x₂ ≥ 0（非负约束）。

LP 问题的求解方法

Yarn深度解析：分布式资源调度的核心框架

YARN（Yet Another Resource Negotiator）是 Hadoop 生态系统中的资源管理和调度平台，负责协调集群中的计算资源（CPU、内存等）并为应用程序分配资源。它将 MapReduce v1 中的 JobTracker 功能拆分为 资源管理 和 作业监控 两部分，实现了资源与应用程序的解耦，支持多种计算框架（如 MapReduce、Spark、Flink 等）共享集群资源。本文将从 YARN 的架构、核心组件、调度策略到实战配置，全面解析其工作原理与优化方法。

YARN 核心架构与组件

YARN 采用 主从架构，由一个全局的 ResourceManager、每个节点上的 NodeManager、每个应用程序的 ApplicationMaster 以及资源容器 Container 组成。整体架构如下：

flowchart TD  
    subgraph 集群节点  
        A[ResourceManager
全局资源管理器]  
        B[NodeManager
节点资源管理器]  
        C[NodeManager
节点资源管理器]  
    end  
    subgraph 应用程序  
        D[ApplicationMaster
应用主控]  
        E[Container
资源容器]  
        F[Container
资源容器]  
    end  
    A -- 资源分配 --> B  
    A -- 资源分配 --> C  
    A -- 启动/监控 --> D  
    D -- 申请资源 --> A  
    D -- 管理任务 --> E  
    D -- 管理任务 --> F  
    B -- 提供容器 --> E  
    C -- 提供容器 --> F

ResourceManager（RM）：全局资源总管

ResourceManager 是 YARN 的核心组件，负责集群资源的全局管理和调度，主要功能包括：

核心职责

• 接收客户端请求：处理应用程序的提交、终止等请求；
• 资源分配与调度：将集群资源（CPU、内存）以 Container 形式分配给应用程序；
• 监控 NodeManager：跟踪节点状态，处理节点故障；
• 启动与监控 ApplicationMaster：为每个应用程序启动 ApplicationMaster，并监控其生命周期。

核心模块

• 调度器（Scheduler）：根据策略分配资源（不负责监控应用）；
• 应用管理器（ApplicationsManager）：管理应用程序的生命周期（启动 AM、处理失败重试）。

NodeManager（NM）：节点资源管家

NodeManager 是每个节点上的资源管理器，负责本节点的资源管理和任务监控：

核心职责

• 资源管理：管理节点上的 CPU、内存等资源，向 ResourceManager 汇报节点资源使用情况；
• 容器管理：创建、启动、停止 Container，监控容器的资源使用（如内存超限则杀死容器）；
• 与 AM 交互：接收 ApplicationMaster 的指令，执行具体任务（如启动 Map/Reduce 任务）；
• 日志管理：收集容器的日志并存储到 HDFS 或本地磁盘。

MySQL 注释用法详解

在 MySQL 中，注释是提高 SQL 语句可读性的重要手段，可用于解释逻辑、标注功能或临时屏蔽代码。MySQL 支持三种注释方式，适用于不同场景：

单行注释

1. # 开头的注释

• 语法：# 注释内容（# 后直接跟注释文字，无需空格）。
• 适用场景：单行注释，常用于 SQL 语句末尾或单独一行。

1
2
3
4
5
6

-- 示例 1：语句后注释
SELECT * FROM users WHERE status = 1; # 查询状态为1的用户

-- 示例 2：单独一行注释
# 以下语句用于统计今日新增订单
SELECT COUNT(*) FROM orders WHERE create_time >= CURDATE();

2. --开头的注释

• 语法：-- 注释内容（注意 -- 后必须跟至少一个空格，否则会被视为 SQL 语法的一部分）。
• 适用场景：单行注释，与 # 功能类似，是 SQL 标准的注释方式。