使用HBase自带的import工具导入数据遇到的两个问题
发表于:2025-01-20 作者:千家信息网编辑
千家信息网最后更新 2025年01月20日,因为开发环境需要迁移,将原来HBase中的表使用 org.apache.hadoop.hbase.mapreduce.Export 工具序列化到hdfs后下载出来,在新的开发环境中导入。导入时遇到了两
千家信息网最后更新 2025年01月20日使用HBase自带的import工具导入数据遇到的两个问题
因为开发环境需要迁移,将原来HBase中的表使用 org.apache.hadoop.hbase.mapreduce.Export 工具序列化到hdfs后下载出来,在新的开发环境中导入。导入时遇到了两个问题。
问题一:导入失败提示User hbase cannot submit applications to queue root.hbase
解决方法:
登录到yarn集群管理节点Resource Manager机器上/etc/hadoop 路径 ,修改fair-scheduler.xml
vi /etc/hadoop/fair-scheduler.xml,新增以下内容(所有的Resource Manager节点都需要修改),保存退出。不需要重启集群和组件
1 drf hdfs,hbase,hive hbase 100 mb,10 vcores 10240 mb,50 vcores 50
问题二:导入失败,终端没有按正常进度走,也没有相关错误提示。
查看yarn 中的job日志发现如下信息
解决方法:
去系统下查看hbase的id为uid=482(hbase)而yarn的配置中有一项为"min.user.id"最小用户id这里配置了1000。修改为300后问题排除。
这个配置的作用是"允许的最小 Linux 用户 ID。用于阻止其他超级用户。"
问题
用户
配置
最小
方法
环境
节点
集群
开发
提示
两个
工具
作用
信息
内容
序列
日志
机器
系统
组件
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
2服务器功率多大
跨域网络技术
比较靠谱的数据库培训
网络安全配置过时了吗
数据库将查询结果导出日志
十二届广交会网络安全保障
常用网络安全基础知识
常见数据库连接池
引入其他软件开发公司共同完成
网络安全防护是当前
大河云联网络技术有限公司官网
spc软件开发经验
头脑缺陷的人学软件开发
银行软件开发校招面试经验
数据库查阅所有记录
c 服务器开发
软件开发系统文档实例
电脑网络技术路线规划
该怎么对数据库进行添加和删除
深圳蓝天网络技术有限公司
维护升级和软件开发一样
北信源网络安全产业园
esp软件开发
农村网络安全宣传简报
软件开发的发展地位
自媒体数据库需求分析
数据库源代码管理
郑州中继转发服务器
汤姆服务器
景东县公安局网络安全宣传