千家信息网

请输入关键字词

热门搜索排行

最新搜索排行

导航： 首页 > 互联网科技 >

fs.defaultFS变更使spark-sql查询hive失败是怎么回事

发表于：2025-01-24 作者：千家信息网编辑
千家信息网最后更新 2025年01月24日，这篇文章将为大家详细讲解有关fs.defaultFS变更使spark-sql查询hive失败是怎么回事，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。我们在将hdfs
千家信息网最后更新 2025年01月24日fs.defaultFS变更使spark-sql查询hive失败是怎么回事

这篇文章将为大家详细讲解有关fs.defaultFS变更使spark-sql查询hive失败是怎么回事，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。


我们在将hdfs换成⾼可⽤后，我们的namede地址发⽣变更，也就是我们的fs.defaultFS发⽣变更后， 需要注意：这些修改会影响到我们的hive的正常运⾏，因为我们hive在建表的时候，其实已经改变了该表 的数据存放路径。会导致我们在提交spark脚本【执⾏spark-sql】的脚本，报错。如下图所示：⼀直显 示，读取⽼的hdfs的namenode路径。
这⾥，我们可以访问我们的hive元数据表 SDS，如下图所示：发现还是以未升级前的namenode地 址，也就是master:9000。
因此，我们需要修改这些存储信息，有两种⽅式：
  1. 直接修改表的信息
  2. 利⽤hive⾃带的⼯具
metatool -updateLocation
在装有hive的节点执⾏命令
                 metatool -updateLocation hdfs://bi hdfs://master:9000/
查询元数据信息是否发⽣更改

                 metatool -listFSRoot
此时，hive的元数据信息已经发生变更，可以正常使用

关于"fs.defaultFS变更使spark-sql查询hive失败是怎么回事"这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。

很赞哦！
信息 数据 查询 篇文章 回事 也就是 更多 脚本 路径 不错 实用 内容 命令 地址 数据表 文章 时候 知识 节点 还是 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 数据库上机作业 苏州戴尔内部塔式服务器 连接中文名数据库 华为手机dns服务器配置 数据库浅谈 万科数据库论文如何下载 cvi使用什么软件开发 网课哪个环节用了数据库 中科电网络安全研究院 户口 数据库怎么查软件版本 ec服务器几年出的 广州科网络技术有限公司 万年dna数据库 亚伯拉罕网络技术 外置登录的服务器有哪些 14g服务器 网络安全示范学校创建方案 临安区手机app软件开发 上网出现网络安全管理系统 互联网领先科技成果展示馆 深圳软件开发哪家效益快 网络安全技术基础心得体会 什么是策略服务器 怎么识别服务器的网卡是多少带宽 昆山做软件开发工资怎么样 网络技术在教育中的作用 网络安全宣传周六载体 游戏客户如何选择服务器 网页怎么访问数据库数据 上海综合软件开发销售

相关文章

0