小菜鸟

java菜鸟号正在起航

0%

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 4k 阅读时长 ≈ 4 分钟

hive数据导入全攻略：从 HDFS 到 INSERT 详解

Hive 作为数据仓库工具，数据导入是核心操作之一。由于 Hive 依赖 HDFS 存储数据，导入方式灵活多样，包括直接操作 HDFS、LOAD DATA 命令及 INSERT 语句。本文详细讲解每种导入方式的原理、操作步骤及注意事项，帮助开发者高效导入数据。

帮助开发者高效导入数据。

通过 HDFS 直接上传数据

Hive 表的数据本质上存储在 HDFS 目录中，因此可直接通过 HDFS 命令将数据文件上传到表对应的目录，实现数据导入。

操作步骤

  1. 创建表并确认存储路径
    先创建表（以内部表为例），并通过 desc formatted 查看表在 HDFS 上的存储路径：

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    -- 创建表（指定列分隔符为制表符 \t）  
    create table if not exists dept(  
      deptno int,  
      dname string  
    )  
    row format delimited fields terminated by '\t';  

    -- 查看表存储路径  
    hive (study_hive)> desc formatted dept;  
    ...  
    Location:            hdfs://localhost:9000/user/hive/warehouse/study_hive.db/dept  
    ...

  2. 准备本地数据文件
    创建 dept.txt，内容如下（列之间用制表符分隔）：

    1
    2
    1    财务  
    2    IT

  3. 通过 HDFS 命令上传文件
    使用 hdfs dfs -put 将本地文件上传到表的 HDFS 目录：

    1
    hdfs dfs -put ./dept.txt /user/hive/warehouse/study_hive.db/dept/

  4. 查询表数据验证
    上传后直接查询表，数据已导入：

阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 2.4k 阅读时长 ≈ 2 分钟

hive内部表与外部表：核心区别与实战指南

在 Hive 中，数据表分为 内部表（管理表） 和 外部表，二者的核心区别在于数据的管理权归属。理解这两种表的特性对数据仓库设计、数据生命周期管理至关重要。本文详细解析内部表与外部表的差异、转换方法及适用场景。

内部表（Managed Table）

内部表是 Hive 的默认表类型，由 Hive 完全管理数据的生命周期，包括存储和元数据。

核心特性

  1. 数据存储位置：默认存储在 HDFS 的 hive.metastore.warehouse.dir 配置路径下（通常为 /user/hive/warehouse/<数据库名>.db/<表名>）。

    • 示例：数据库study_hive中的表user_info数据路径为：

      1
      hdfs://localhost:9000/user/hive/warehouse/study_hive.db/user_info

  2. 数据管理权：Hive 拥有数据的完全控制权，删除表时会 同时删除元数据和 HDFS 上的数据。

  3. 适用场景：

    • 临时表或中间结果表（数据生命周期与表绑定）；
    • 无需与其他工具共享的数据（数据仅由 Hive 管理）。

创建语法

内部表创建无需添加 EXTERNAL 关键字，语法如下：

阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 4.6k 阅读时长 ≈ 4 分钟

hive数据表 DML 操作全指南：从数据库到表的核心操作

Hive 作为数据仓库工具，其 DML（数据操纵语言）操作与传统 SQL 高度兼容，但也存在适应分布式存储的特殊语法（如分区、外部表）。本文详细讲解 Hive 中数据库和数据表的核心操作，包括创建、查询、修改和删除，帮助开发者快速上手 Hive 数据管理。

数据库操作

数据库在 Hive 中主要用于隔离不同业务的数据表，类似传统数据库的 “命名空间”。所有数据库的元数据存储在 Metastore 中，实际数据存储在 HDFS 上。

查看数据库列表

使用 show databases 查看所有数据库，默认数据库为 default：

1
2
3
4
5
hive (default)> show databases;  
OK  
default  
study_hive  -- 已创建的自定义数据库  
Time taken: 0.123 seconds

创建数据库

通过 CREATE DATABASE 语句创建数据库，支持指定存储路径、注释和属性。

基本语法
1
2
3
4
CREATE DATABASE [IF NOT EXISTS] database_name  
[COMMENT '数据库注释']  
[LOCATION 'hdfs_path']  -- 指定数据库在 HDFS 上的存储路径  
[WITH DBPROPERTIES ('key'='value', ...)];  -- 自定义数据库属性
实操示例
1
2
3
4
5
6
-- 创建数据库（若不存在）  
CREATE DATABASE IF NOT EXISTS study_hive  
COMMENT '用于学习 Hive 的数据库'  
LOCATION '/user/hive/warehouse/study_hive.db';  -- 显式指定 HDFS 路径  

-- 若不指定 LOCATION，默认路径为：hdfs://<namenode>/user/hive/warehouse/<database_name>.db

查看数据库详情

使用 desc database 或 desc database extended 查看数据库的元数据信息：

阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 3.6k 阅读时长 ≈ 3 分钟

hive常见配置全指南：从查看配置到自定义优化

Hive 的配置体系灵活且层次分明，通过合理配置可优化查询性能、调整交互体验并适配不同业务场景。本文详细讲解 Hive 配置的查看方式、优先级规则及常用核心配置，帮助开发者高效管理 Hive 环境。

Hive 配置查看方式

在使用 Hive 时，需先掌握如何查看当前生效的配置，以便验证配置是否正确或排查问题。

查看所有配置

通过 set 命令在 Hive 交互模式（hive 或 beeline）中查看所有生效的配置：

1
hive> set;  -- 输出所有配置项及其值，按配置名排序

查看特定配置

通过 set <配置名> 查看单个配置项的当前值：

1
2
hive> set hive.metastore.uris;  -- 查看元数据服务地址  
hive> set hive.execution.engine;  -- 查看执行引擎

配置来源标识

部分配置项后会标注来源（如 (from hive-site.xml)），明确配置的生效位置：

阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 3.9k 阅读时长 ≈ 4 分钟

hive访问方式全解析：从命令行到 JDBC 连接

Hive 提供了多种访问方式，从基础的命令行交互到第三方工具的 JDBC 连接，满足不同场景下的使用需求。本文详细讲解 Hive 的核心访问方式，包括元数据服务配置、JDBC 连接及非交互式 SQL 执行，帮助开发者灵活操作 Hive 数据仓库。

Hive 访问方式概述

Hive 并非传统意义上的 “数据库服务”，默认仅支持本地命令行交互。若需通过第三方工具（如 Beeline、DataGrip）或程序（Java/Python）访问，需手动启动对应服务：

访问方式 核心组件 适用场景
命令行交互 hive 客户端 快速测试、简单 SQL 执行
元数据服务连接 metastore 服务 多客户端共享元数据、避免元数据冲突
JDBC 连接 HiveServer2 服务 第三方工具集成、程序访问（如 Java 代码）
非交互式执行 hive -e/hive -f 脚本自动化、定时任务执行 SQL

元数据服务（Metastore）配置与启动

Hive 的元数据（表结构、分区信息等）需通过 metastore 服务管理，尤其在多客户端或分布式场景下，必须启动独立的 metastore 服务。

配置 metastore 服务地址

在 hive-site.xml 中添加 metastore 服务的 Thrift 连接地址，确保所有客户端能访问元数据：

阅读全文 »