小菜鸟

java菜鸟号正在起航

0%

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 3.6k 阅读时长 ≈ 3 分钟

hive常见配置全指南：从查看配置到自定义优化

Hive 的配置体系灵活且层次分明，通过合理配置可优化查询性能、调整交互体验并适配不同业务场景。本文详细讲解 Hive 配置的查看方式、优先级规则及常用核心配置，帮助开发者高效管理 Hive 环境。

Hive 配置查看方式

在使用 Hive 时，需先掌握如何查看当前生效的配置，以便验证配置是否正确或排查问题。

查看所有配置

通过 set 命令在 Hive 交互模式（hive 或 beeline）中查看所有生效的配置：

1
hive> set;  -- 输出所有配置项及其值，按配置名排序

查看特定配置

通过 set <配置名> 查看单个配置项的当前值：

1
2
hive> set hive.metastore.uris;  -- 查看元数据服务地址  
hive> set hive.execution.engine;  -- 查看执行引擎

配置来源标识

部分配置项后会标注来源（如 (from hive-site.xml)），明确配置的生效位置：

阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 3.9k 阅读时长 ≈ 4 分钟

hive访问方式全解析：从命令行到 JDBC 连接

Hive 提供了多种访问方式，从基础的命令行交互到第三方工具的 JDBC 连接，满足不同场景下的使用需求。本文详细讲解 Hive 的核心访问方式，包括元数据服务配置、JDBC 连接及非交互式 SQL 执行，帮助开发者灵活操作 Hive 数据仓库。

Hive 访问方式概述

Hive 并非传统意义上的 “数据库服务”，默认仅支持本地命令行交互。若需通过第三方工具（如 Beeline、DataGrip）或程序（Java/Python）访问，需手动启动对应服务：

访问方式 核心组件 适用场景
命令行交互 hive 客户端 快速测试、简单 SQL 执行
元数据服务连接 metastore 服务 多客户端共享元数据、避免元数据冲突
JDBC 连接 HiveServer2 服务 第三方工具集成、程序访问（如 Java 代码）
非交互式执行 hive -e/hive -f 脚本自动化、定时任务执行 SQL

元数据服务（Metastore）配置与启动

Hive 的元数据（表结构、分区信息等）需通过 metastore 服务管理，尤其在多客户端或分布式场景下，必须启动独立的 metastore 服务。

配置 metastore 服务地址

在 hive-site.xml 中添加 metastore 服务的 Thrift 连接地址，确保所有客户端能访问元数据：

阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 11k 阅读时长 ≈ 10 分钟

Hibernate 注解方式深度解析

Hibernate 注解方式是替代传统 XML 映射配置的主流方案，其核心优势在于配置与实体类代码耦合度低、开发效率高、可读性强。相较于 XML 配置需要维护独立的 .hbm.xml 文件，注解可直接嵌入实体类的属性或 getter 方法上，大幅简化了配置流程。本文将从核心注解分类、关联关系映射、高级配置（如复合主键、枚举映射）等维度，系统讲解 Hibernate 注解的使用方法，并补充关键注意事项。

核心基础注解：实体与主键配置

基础注解主要解决「实体类与数据库表的映射」和「主键生成策略」两大核心问题，是所有注解配置的基础。

实体类级注解

用于标识类为 Hibernate 实体，并指定对应的数据库表信息。

注解 作用说明 常用属性
@Entity 标识当前类是持久化实体，必须添加（否则 Hibernate 无法识别为映射类）。 name：指定实体对应的数据库表名（默认值为实体类名，如类名 Log 对应表 log）。
@Table 补充表级配置（可选，与 @Entity 配合使用）。 - name：同 @Entity 的 name，优先级更高； - catalog：指定数据库 catalog； - schema：指定数据库 schema； - uniqueConstraints：定义表的唯一约束（如 @UniqueConstraint(columnNames = "requestUri")）。

主键相关注解

主键是实体映射的核心，Hibernate 通过 @Id 标识主键字段，并通过 @GeneratedValue 指定主键生成策略，满足不同业务场景（如自增、UUID、序列等）。

（1）@Id
  • 作用：标识当前字段为数据库表的主键（必须添加，一个实体类只能有一个 @Id）。
  • 位置：可放在属性上或 getter 方法上（需保持全类一致，不能混合使用）。
（2）@GeneratedValue
  • 作用：指定主键的生成策略（可选，若不指定则需手动设置主键值）。
  • 核心属性：strategy，取值为 GenerationType 枚举，共 4 种策略：
阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 4.4k 阅读时长 ≈ 4 分钟

hive下载安装

使用的版本是3.1.2

Hive 的安装配置是使用 Hive 进行大数据分析的基础，涉及环境依赖、元数据存储配置及常见问题解决。本文基于 Hive 3.1.2 版本，详细讲解从下载到启动的完整流程，重点解决元数据存储（Derby 转 MySQL）的核心问题。

环境准备与依赖检查

在安装 Hive 前，需确保以下依赖已正确配置：

基础依赖

  • JDK：推荐 JDK 8（Hive 3.1.2 对 JDK 11 支持有限）；

  • Hadoop：需提前安装并启动 Hadoop 集群（本文以 Hadoop 3.3.0 为例），确保 HDFS 和 YARN 正常运行：

    1
    2
    3
    4
    5
    # 启动 Hadoop 集群  
    start-dfs.sh  
    start-yarn.sh  
    # 验证 Hadoop 状态  
    jps  # 应显示 NameNode、DataNode、ResourceManager、NodeManager 等进程

Hive 下载与安装

下载 Hive 安装包

从 Apache 镜像站下载 Hive 3.1.2 版本：

1
2
# 下载地址（清华大学镜像）  
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz

解压与目录配置

阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 2.3k 阅读时长 ≈ 2 分钟

HTTP 常见状态码详解

HTTP 状态码是服务器对客户端请求的处理结果的数字标识，通过三位数字的编码直观反映请求的状态（如成功、错误、重定向等）。理解状态码不仅能帮助开发者快速定位问题，还能优化用户体验（如根据状态码引导用户操作）。以下是对各类状态码的详细解析：

1XX 信息性状态码（临时响应）

1XX 状态码表示服务器已接收请求，正在进一步处理，需要客户端继续等待或配合。这类状态码很少直接暴露给用户，主要用于协议层面的中间交互。

状态码 含义 典型场景
100 Continue 服务器已接收请求头，允许客户端继续发送请求体 客户端发送大型数据（如文件上传）前，先发送请求头试探服务器是否接受，服务器返回 100 后客户端再发送主体
101 Switching Protocols 服务器同意切换到客户端请求的协议（如 HTTP/2、WebSocket） 客户端通过Upgrade首部请求升级协议（如Upgrade: websocket），服务器确认后返回 101 并切换协议

2XX 成功状态码

2XX 状态码表示客户端请求被服务器成功接收并处理，是最理想的响应结果。

状态码 含义 典型场景
200 OK 请求成功，服务器返回对应资源 普通的 GET 请求（如打开网页、获取 API 数据）
201 Created 请求成功且创建了新资源 POST 请求创建资源（如注册用户、发布文章），响应体通常包含新资源的详情
202 Accepted 请求已接收，但尚未处理完成 异步任务（如批量数据处理、邮件发送），服务器先确认接收，后续通过其他方式通知结果
204 No Content 请求成功，但无响应体 DELETE 请求删除资源（无需返回数据），或 PUT 请求更新资源后无需返回内容
206 Partial Content 服务器成功处理部分请求（范围请求） 客户端通过Range首部请求资源的部分内容（如断点续传、大文件分片下载），响应体包含指定范围的数据

3XX 重定向状态码

3XX 状态码表示客户端需要通过进一步操作（如跳转至新地址）才能完成请求，浏览器通常会自动处理重定向。

阅读全文 »