hive的metadata中的表用途说明
发表于:2025-01-26 作者:千家信息网编辑
千家信息网最后更新 2025年01月26日,在本例中将Hive的metadata存储在mysql中;透彻理解每个表的用途,以及每个表之间是通过什么进行关联,对于用hive用着很大的帮助;Hive的版本不同,表的个数也有可能不同;Hive 1.1
千家信息网最后更新 2025年01月26日hive的metadata中的表用途说明
在本例中将Hive的metadata存储在mysql中;
透彻理解每个表的用途,以及每个表之间是通过什么进行关联,对于用hive用着很大的帮助;
Hive的版本不同,表的个数也有可能不同;Hive 1.1是36张表,1.2是35张表;
要重点理解的表:
VERSION
DBS
CDS
TBLS
COLUMNS_V2
PARTITIONS
PARTITION_KEYS
PARTITION_KEY_VALUES
FUNCS
VERSION表
此表中只能有一条信息,如果为0条或者大于1条,Hive均无法启动;此表记录了Hive的版本信息;
DBS表
此表记录了Hive中的数据库信息;包括数据库的ID(DB_ID)、在HDFS上的存储位置(DB_LOCATION_URI)、DB的名字(NAME字段)
TBLS表
此表记录了Hive库中的表信息;包含了表的ID(TBL_ID)、所属的数据库(DB_ID)、表名(TBL_NAME)、表类型(TBL_TYPE,比如是内部表还是外部表),表的存储格式(SD_ID);select * from TBLS\G;
SDS表
此表记录了表的输入、输出格式、存储位置等信息;select * from SDS\G;
COLUMNS_V2表
此表记录了hive表中的列字段信息;通过CD_ID进行关联;包含了表的列名(COLUMN_NAME)、列的数据类型(TYPE_NAME)、列的编号(INTEGER_IDX)select * from COLUMNS_V2\G注:hive通过列的编号(INTEGER_IDX)来确定列的位置,以防止数据错乱;
PARTITIONS(分区)表
此表记录了分区表的信息;包括了分区表的分区值(PART_NAME)、表的输入输出格式(SD_ID)、所属的表(TBL_ID); select * from PARTITIONS;
PARTITION_KEYS(分区的key)表
此表记录了分区的key;通过TBL_ID关联到表;select * from PARTITION_KEYS;注:可以看到分区的key是day;
PARTITION_KEY_VALS(分表key的value)表
此表记录了分区的key的value;通过TBL_ID关联到表;select * from PARTITION_KEY_VALS;注:可以看重到key的value值
信息
数据
关联
存储
位置
数据库
格式
不同
字段
所属
版本
类型
分区表
输入
输出
用途
很大
透彻
错乱
个数
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
王者怎样更换爆满的服务器
mysql数据库参数类型
中国网络安全红联盟
uos操作系统服务器版
数据库字符串搜索函数
软件开发员工能力模型搭建
浪潮服务器杀毒的软件有哪些
最好的网络技术仓
sgn番茄数据库
读取数据库框架
一维套料软件开发
网吧服务器蓝屏显示黑色白字
.net查询数据库事件
信息数据库完善意义
想学软件开发应该选哪个专业
wps数据库管理系统db
阿里ob是oltp数据库
概念结构设计 数据库
本地调试接口远程服务器403
铜仁管理软件开发
教育信息化网络安全投资比例
sci会不会要求原始数据库
二手网吧游戏服务器出售
贵州智能养老软件开发
湖州安卓应用软件开发
网络安全的场景
还有什么网络安全问题
西安吉网网络技术有限公司
网络安全安天集团
国家医保数据库动态维护登入