zeppelin中怎么配置 spark
发表于:2024-10-24 作者:千家信息网编辑
千家信息网最后更新 2024年10月24日,本篇文章给大家分享的是有关zeppelin中怎么配置 spark,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。修改zeppelin 配置
千家信息网最后更新 2024年10月24日zeppelin中怎么配置 spark
本篇文章给大家分享的是有关zeppelin中怎么配置 spark,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。
修改zeppelin 配置文件
在zeppelin-env.sh中添加spark路径和hadoop配置文件路径
export SPARK_HOME=/usr/lib/sparkexport HADOOP_CONF_DIR=/usr/lib/hadoop
修改spark interpreter参数
master 可以为:
local[*] in local modespark://master:7077 in standalone clusteryarn-client in Yarn client modeyarn-cluster in Yarn cluster modemesos://host:5050 in Mesos cluster
我这里是 spark on yarn 所以我配置的 master 为yarn,提交模式为 cluster,我设置为 client 的时候运行任务一直卡着不动
排错
我这里是在docker里搭建的,中间还报了其它的错
java.lang.RuntimeException: org.apache.zeppelin.interpreter.InterpreterException: org.apache.thrift.transport.TTransportException: java.net.ConnectException: Connection refused
后来发现是AM无法实例化的原因
host -i
发现docker 里是一个虚拟ip
解决方法:
启动docker时指定网络连接方式
host模式 :docker run 使用 --net=host指定docker使用的网络实际上和宿主机一样
以上就是zeppelin中怎么配置 spark,小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注行业资讯频道。
配置
文件
更多
模式
知识
篇文章
网络
路径
实用
任务
原因
参数
实例
实际
实际上
宿主
宿主机
就是
工作会
文章
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
重庆服务器硬盘参数
新闻家庭教育与网络安全
网络安全主持人串讲词
腾讯软件开发者
软件开发领域新理念
如何入侵服务器
网络技术应用 专业
vb连接数据库放哪里
浪潮服务器m2211
实例讲解软件开发项目管理
第10章数据库恢复技术答案
上海网络时间服务器设置
smarteye服务器介绍
中国梦扶贫大爱掌天数据库
seata 支持哪些数据库
软件开发公司简介范本
数据库运行管理规范编号
100年网络安全保障工作方案
白城软件开发定制
如何抓住网络安全发展
数据库转储时乱码怎么解决
三本网络安全基础知识
网络安全服务需求分析
管晓宏院士网络安全
彩票 数据库设计
软件开发中坐标算法
天津网络技术公司招聘
背单词软件开发的源代码
网络安全抽奖真实案例
软件开发文档视频