spark-local 模式 提示 /tmp/hive hdfs 权限不够的问题
发表于:2025-01-23 作者:千家信息网编辑
千家信息网最后更新 2025年01月23日,spark版本为2.0在spark 在 local 模式下启动,有时会报/tmp/hive hdfs 权限不够的问题,但是我们并没有将hdfs-site.xml配置文件放到我们的项目中,spark的文
千家信息网最后更新 2025年01月23日spark-local 模式 提示 /tmp/hive hdfs 权限不够的问题
spark版本为2.0
在spark 在 local 模式下启动,有时会报/tmp/hive hdfs 权限不够的问题,但是我们并没有将hdfs-site.xml配置文件放到我们的项目中,spark的文件应该会存在本地电脑上,但是为什么会报这个错误呢?这个问题非常诡异,有的同事会报此错误,有的则不会。都是同样的配置。
这是在2016/10/31 报的错误,之前在本地测试从来不会报这个错误,但是在这天早上2个同事反映起不来项目,我自己试了一下也起不来,同样的错误。
最终发现spark报的错误不准确,如果在windows环境下spark会去某一个盘下创建"tmp/hive/用户名" 的文件夹,在这个文件夹下存放一些临时文件,注意,这里并不是数据文件,数据文件的地址另有设置。我们发现报错的同事都是只创建了"tmp/hive"的文件夹,下面的用户名文件夹并没有创建成功,可以推断,spark在下次启动的时候,创建此文件夹出错了,所以我们把"tmp/hive"的文件夹删除,再次启动,spark就可以正常运行了,运行成功后会创建"tmp/hive/用户名" 的文件夹。
值得一提的是,本机测试之前没有出现此问题,之前都是创建在E盘下
而2016/10/31(周一)来时,spark却选择了C盘,期间,代码,配置,环境等都没有变化,这个原因到目前未能解开。
这个xiaokan的文件夹也是一定要在第一次spark启动失败后(创建了tmp/hive),后将tmp/hive删除后才能创建起来,具体原理,至今未明确。
这里补充一句,在后续我们使用spark2.1版本后,再也没有出现此问题,可能是spark2.0的坑吧。
文件
文件夹
错误
问题
会报
同事
用户
用户名
配置
成功
数据
是在
版本
环境
项目
测试
运行
不够
权限
模式
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
samp好玩的服务器
openwrt 远程激活服务器
济宁睿付网络技术公司
平安科技互联网前端客服专员
软件开发工程师常用英语单词
信息系统网络安全如何管理
服务器版本低无法进入系统
伟思网络安全隔离卡安装
吉莱斯商城互联网络科技
gcp 服务器
xpdns服务器异常
小学网络安全讲座心得体会
软件开发公司口号
外文全文型数据库
南宁软件开发区域
手机上的自由之城怎么创建服务器
mes软件开发有前景吗
金仓数据库安装手册
红橙黄蓝安全风险数据库
深圳东信网络技术有限公司
网络安全防火管理
必联网络技术有限公司
医院信息网络安全情况汇报
晋中软件开发商
怎样租用服务器
儿童拼图游戏软件开发
数据库还原时间
服务器安防
关于网络安全的对照检查
建筑模板软件开发