千家信息网

hive命令有哪些调用方式

发表于:2025-02-02 作者:千家信息网编辑
千家信息网最后更新 2025年02月02日,这篇文章主要为大家展示了"hive命令有哪些调用方式",内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下"hive命令有哪些调用方式"这篇文章吧。hive命令的3
千家信息网最后更新 2025年02月02日hive命令有哪些调用方式

这篇文章主要为大家展示了"hive命令有哪些调用方式",内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下"hive命令有哪些调用方式"这篇文章吧。



hive命令的3种调用方式

方式1:hive -f /root/shell/hive-script.sql(适合多语句)

hive-script.sql类似于script一样,直接写查询命令就行

例如:

[root@cloud4 shell]# vi hive_script3.sql

select * from t1;

select count(*) from t1;

不进入交互模式,执行一个hive script

这里可以和静音模式-S联合使用,通过第三方程序调用,第三方程序通过hive的标准输出获取结果集。

$HIVE_HOME/bin/hive -S -f /home/my/hive-script.sql (不会显示mapreduct的操作过程)

方式2:hive -e 'sql语句'(适合短语句)
直接执行sql语句
例如:
[root@cloud4 shell]# hive -e 'select * from t1'
静音模式:
[root@cloud4 shell]# hive -S -e 'select * from t1' (用法与第一种方式的静音模式一样,不会显示mapreduce的操作过程)
此处还有一亮点,用于导出数据到linux本地目录下
例如:
[root@cloud4 shell]# hive -e 'select * from t1' > test.txt
有点类似pig导出分析结果一样,都挺方便的
方式3:hive (直接使用hive交互式模式)
都挺方便的
介绍一种有意思的用法:
1.sql的语法

#hive 启动

hive>quit; 退出hive

hive> show databases; 查看数据库

hive> create database test; 创建数据库

hive> use default; 使用哪个数据库

hive>create table t1 (key string); 创建表
对于创建表我们可以选择读取文件字段按照什么字符进行分割
例如:
hive>create table t1(id ) '/wlan'
partitioned by (log_date string) 表示通过log_date进行分区
row format delimited fields terminated by '\t' 表示代表用'\t'进行分割来读取字段
stored as textfile/sequencefile/rcfile/; 表示文件的存储的格式

存储格式的参考地址:http://blog.csdn.net/yfkiss/article/details/7787742
textfile 默认格式,数据不做压缩,磁盘开销大,数据解析开销大。
可结合Gzip、Bzip2使用(系统自动检查,执行查询时自动解压),但使用这种方式,hive不会对数据进行切分,从而无法对数据进行并行操作。
实例:

[plain] view plaincopy

  1. > create table test1(str STRING)

  2. > STORED AS TEXTFILE;

  3. OK

  4. Time taken: 0.786 seconds

  5. #写脚本生成一个随机字符串文件,导入文件:

  6. > LOAD DATA LOCAL INPATH '/home/work/data/test.txt' INTO TABLE test1;

  7. Copying data from file:/home/work/data/test.txt

  8. Copying file: file:/home/work/data/test.txt

  9. Loading data to table default.test1

  10. OK

  11. Time taken: 0.243 seconds

SequenceFile是Hadoop API提供的一种二进制文件支持,其具有使用方便、可分割、可压缩的特点。
SequenceFile支持三种压缩选择:NONE, RECORD, BLOCK。 Record压缩率低,一般建议使用BLOCK压缩。
示例:

[plain] view plaincopy

  1. > create table test2(str STRING)

  2. > STORED AS SEQUENCEFILE;

  3. OK

  4. Time taken: 5.526 seconds

  5. hive> SET hive.exec.compress.output=true;

  6. hive> SET io.seqfile.compression.type=BLOCK;

  7. hive> INSERT OVERWRITE TABLE test2 SELECT * FROM test1;

rcfile是一种行列存储相结合的存储方式。首先,其将数据按行分块,保证同一个record在一个块上,避免读一个记录需要读取多个block。其次,块数据列式存储,有利于数据压缩和快速的列存取。RCFILE文件示例:


实例:

[plain] view plaincopy

  1. > create table test3(str STRING)

  2. > STORED AS RCFILE;

  3. OK

  4. Time taken: 0.184 seconds

  5. > INSERT OVERWRITE TABLE test3 SELECT * FROM test1;

总结:
相比textfile和SequenceFile,rcfile由于列式存储方式,数据加载时性能消耗较大,但是具有较好的压缩比和查询响应。数据仓库的特点是一次写入、多次读取,因此,整体来看,rcfile相比其余两种格式具有较明显的优势。

hive>show tables; 查看该数据库中的所有表

hive>show tables '*t*'; //支持模糊查询

hive>show partitions t1; //查看表有哪些分区

hive>drop table t1 ; 删除表

hive不支持修改表中数据,但是可以修改表结构,而不影响数据

有local的速度明显比没有local慢:

hive>load data inpath '/root/inner_table.dat' into table t1; 移动hdfs中数据到t1表中

hive>load data local inpath '/root/inner_table.dat' into table t1; 上传本地数据到hdfs中

hive> !ls; 查询当前linux文件夹下的文件
hive> dfs -ls /; 查询当前hdfs文件系统下 '/'目录下的文件

以上是"hive命令有哪些调用方式"这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注行业资讯频道!

数据 方式 文件 存储 查询 命令 模式 数据库 格式 语句 支持 内容 篇文章 静音 明显 字段 字符 实例 开销 特点 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 男孩取名字软件开发 ora数据库怎样卸载 信息网络安全知识培训视频 互联网网络安全值班 钉钉如何导出审批数据库 如何成为网络技术安全员 数据库表怎么添加指定一列 河南物流运输软件开发电话 浪潮服务器中标麒麟操作系统 宝德4主机服务器 软件开发的创业思维 高青资产管理软件开发 php软件开发部队能用吗 港湾网络技术有限公司 宜章学计算机软件开发学费 搞软件开发合适的电脑 对于网络安全内审的理解 软件开发有哪几个职业方向 智能巡检管理系统数据库 网站文件名更改数据库连不上 共享系统软件开发费用 公司服务器的管理 dd是什么缩写数据库 大型数据库应用技术实验报告 软件开发的工具有哪些 网络安全教育主题班会教师总结 服务器里面有数据库吗 宝塔上传数据库大小限制 梦幻西游2网络连接服务器 学习计算机网络技术怎么学
0