千家信息网

hive中有哪些基础执行语句

发表于:2025-01-26 作者:千家信息网编辑
千家信息网最后更新 2025年01月26日,小编给大家分享一下hive中有哪些基础执行语句,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!hive简单概念hive是一种基于Hadoop的数据仓库的处理工具,目前只支持简单的类似传
千家信息网最后更新 2025年01月26日hive中有哪些基础执行语句

小编给大家分享一下hive中有哪些基础执行语句,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!

hive简单概念

hive是一种基于Hadoop的数据仓库的处理工具,目前只支持简单的类似传统关系型数据库的SQL查询,修改操作功能,他可以直接将SQL转化为MapReduce程序,开发人员不必一定要学会写MR程序,提高了开发效率。

例子:基于mysql存储的hive环境,hive元数据(hive相关表,表的各个字段属性等信息)存放在mysql数据库中,mysql数据存放在hdfs默认是/user/hive/warehouse/hive.db中

ddl 语句

mysql作为元数据存储 数据库(hive)结构目录

创建表

hive> create table test (id int, name string);

引入分区的概念,因为hive 中的select 一般会扫描整个表,这样会浪费很多时间,所以引入分区的概念

hive> create table test2 (id int, name string) partitioned by (ds string);

浏览表

hive>show tables;

引入正则表达式 类似like的功能

hive>show tables '.*t'

查看数据结构

hive> DESCRIBE test;或desc test;

修改或删除表

hive>alter table test rename to test3;

hive>alter table add columns (new_column type comment '注释')

hive>drop table test;
DML操作语句

1、倒入数据

LOAD DATA LOCAL INPATH '/home/hadoop/test.txt' OVERWRITE INTO TABLE test;

local 表示执行本地,如果去掉默认是取hdfs上的文件,overwrite表示导入数据覆盖,如果去掉表示append

2、执行查询

select * from test2 where test2.ds='2014-08-26'

3、值得注意的是 select count(*) from test 与我们平时关系型数据库记录查询操作不同,他执行的是一个mr

hive> select count(*) from test2;
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks determined at compile time: 1
In order to change the average load for a reducer (in bytes):
set hive.exec.reducers.bytes.per.reducer=
In order to limit the maximum number of reducers:
set hive.exec.reducers.max=
In order to set a constant number of reducers:
set mapred.reduce.tasks=
Starting Job = job_1411720827309_0004, Tracking URL = http://master:8031/proxy/application_1411720827309_0004/
Kill Command = /usr/local/cloud/hadoop/bin/hadoop job -kill job_1411720827309_0004
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1
Stage-1 map = 0%, reduce = 0%
Stage-1 map = 100%, reduce = 0%, Cumulative CPU 0.93 sec
Stage-1 map = 100%, reduce = 0%, Cumulative CPU 0.93 sec
Stage-1 map = 100%, reduce = 0%, Cumulative CPU 0.93 sec
Stage-1 map = 100%, reduce = 0%, Cumulative CPU 0.93 sec
Stage-1 map = 100%, reduce = 0%, Cumulative CPU 0.93 sec
Stage-1 map = 100%, reduce = 0%, Cumulative CPU 0.93 sec
Stage-1 map = 100%, reduce = 0%, Cumulative CPU 0.93 sec
Stage-1 map = 100%, reduce = 0%, Cumulative CPU 0.93 sec
Stage-1 map = 100%, reduce = 100%, Cumulative CPU 2.3 sec
Stage-1 map = 100%, reduce = 100%, Cumulative CPU 2.3 sec
MapReduce Total cumulative CPU time: 2 seconds 300 msec
Ended Job = job_1411720827309_0004
MapReduce Jobs Launched:
Job 0: Map: 1 Reduce: 1 Cumulative CPU: 2.3 sec HDFS Read: 245 HDFS Write: 2 SUCCESS
Total MapReduce CPU Time Spent: 2 seconds 300 msec
OK
3
Time taken: 27.508 seconds, Fetched: 1 row(s)

看完了这篇文章,相信你对"hive中有哪些基础执行语句"有了一定的了解,如果想了解更多相关知识,欢迎关注行业资讯频道,感谢各位的阅读!

数据 语句 数据库 概念 查询 基础 功能 程序 篇文章 结构 存储 开发 不同 人员 仓库 传统 例子 信息 字段 完了 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 网络安全管理技术入门 花网络安全ppt 连云港数据库安全审计 绝地求生第二个服务器 在软件开发中采用原型 金山区咨询软件开发平台资质 新乡瀚海网络技术有限公司广告 天下手游新服务器列表 删除app 保留在数据库 武汉海康威视网络技术有限公司 船票数据库管理系统毕业设计 计算机改名后数据库sql的恢复 网络安全犯法实例 工控软件开发和组态软件 未有有软件开发工作室 怎么架设小的服务器 创建数据库的语句错误 哈尔滨恒生汇网络技术有限公司 网络技术实习生一般干什么 共青团网络安全宣传周总结 app软件开发公司英文简介 软件开发其实很辛苦 c 做项目用什么软件开发 网络安全的基本要素怎么简述 国际服的所有服务器地址 阜阳网络安全知识大全 敏捷软件开发源码 汽车应用层应用软件开发 switch网络技术是什么 ipfs服务器配置咨询电话
0