spark-local 模式 提示 /tmp/hive hdfs 权限不够的问题
发表于:2024-10-18 作者:千家信息网编辑
千家信息网最后更新 2024年10月18日,spark版本为2.0在spark 在 local 模式下启动,有时会报/tmp/hive hdfs 权限不够的问题,但是我们并没有将hdfs-site.xml配置文件放到我们的项目中,spark的文
千家信息网最后更新 2024年10月18日spark-local 模式 提示 /tmp/hive hdfs 权限不够的问题
spark版本为2.0
在spark 在 local 模式下启动,有时会报/tmp/hive hdfs 权限不够的问题,但是我们并没有将hdfs-site.xml配置文件放到我们的项目中,spark的文件应该会存在本地电脑上,但是为什么会报这个错误呢?这个问题非常诡异,有的同事会报此错误,有的则不会。都是同样的配置。
这是在2016/10/31 报的错误,之前在本地测试从来不会报这个错误,但是在这天早上2个同事反映起不来项目,我自己试了一下也起不来,同样的错误。
最终发现spark报的错误不准确,如果在windows环境下spark会去某一个盘下创建"tmp/hive/用户名" 的文件夹,在这个文件夹下存放一些临时文件,注意,这里并不是数据文件,数据文件的地址另有设置。我们发现报错的同事都是只创建了"tmp/hive"的文件夹,下面的用户名文件夹并没有创建成功,可以推断,spark在下次启动的时候,创建此文件夹出错了,所以我们把"tmp/hive"的文件夹删除,再次启动,spark就可以正常运行了,运行成功后会创建"tmp/hive/用户名" 的文件夹。
值得一提的是,本机测试之前没有出现此问题,之前都是创建在E盘下
而2016/10/31(周一)来时,spark却选择了C盘,期间,代码,配置,环境等都没有变化,这个原因到目前未能解开。
这个xiaokan的文件夹也是一定要在第一次spark启动失败后(创建了tmp/hive),后将tmp/hive删除后才能创建起来,具体原理,至今未明确。
这里补充一句,在后续我们使用spark2.1版本后,再也没有出现此问题,可能是spark2.0的坑吧。
文件
文件夹
错误
问题
会报
同事
用户
用户名
配置
成功
数据
是在
版本
环境
项目
测试
运行
不够
权限
模式
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
软件开发开心购
北京京科通达网络技术有限公司
苹果手机网络安全审查办法
福州玩摩网络技术有限公司
华润银行软件开发
华东师范大学数据库期末试卷
智能信息服务器
济南应用软件开发收费多少
网络安全案件造成损失
网络安全等级保护技术咨询
网络安全投资风向标
sql复制数据库语句
空间和数据库的关系
考计算机网络技术要多少分
软件开发规范 维护期
CTC网络安全培训心得体会
qt软件开发现状
修服务器d工资多少
深圳网络安全展厅
所有网络安全元素里面
数据库对网络安全
数据库的头表和行表
网络安全隐患及风险
国家网络安全宣传周吴京
白山市网络安全宣传
私信服务器管理
网络安全法存在的问题
孤岛惊魂3取消和育碧服务器连接
白银网络安全工程师岗位职责
保山软件开发前途