千家信息网

Hive与es数据如何导入和导出

发表于:2025-01-23 作者:千家信息网编辑
千家信息网最后更新 2025年01月23日,这篇文章给大家分享的是有关Hive与es数据如何导入和导出的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。1. 将两个jar包添加到Hive的 hive.aux.jars.p
千家信息网最后更新 2025年01月23日Hive与es数据如何导入和导出

这篇文章给大家分享的是有关Hive与es数据如何导入和导出的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。

1. 将两个jar包添加到Hive的 hive.aux.jars.path目录

        org.elasticsearch        elasticsearch-hadoop        6.6.2        commons-httpclient        commons-httpclient        3.1

在hive中创建es索引的外联表

create external table charge_current_frequency_es(    province               string,    vehicleType            string,    vin                    string,    chargeType             string,    chargeCurrentFrequency array,    statis_time            string) STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler'    location '/warningplatform.db/ads/charge_current_frequency_es'    TBLPROPERTIES ('es.resource' = 'charge_current_frequency/charge_current_frequency',        'es.mapping.names' =                'province:province,vehicleType:vehicleType,vin:vin,chargeType:chargeType,chargeCurrentFrequency:chargeCurrentFrequency,statis_time:time',        'es.nodes' = '192.168.11.29',        'es.port' = '9200'        );
  • 指定hive与es字段的匹配规则

  • hive中的string可以写入es的date类型,格式可以是yyyy-MM-dd HH:mm:ss,但是hive读取es数据的时候,不能以string类型去接收es中date类型且格式为yyyy-MM-dd HH:mm:ss的字段。

  • 对hive的插入和查询,即为对es索引的插入和查询。

3. 类型匹配

感谢各位的阅读!关于"Hive与es数据如何导入和导出"这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!

0