Spark History Server 配置部署
发表于:2024-10-05 作者:千家信息网编辑
千家信息网最后更新 2024年10月05日,简介为了可以通过WebUI控制台页面来查看具体的运行细节,解决应用程序运行结束,无法继续查看监控集群信息。无法回顾运行的程序细节,配置开启spark.history服务.Spark History S
千家信息网最后更新 2024年10月05日Spark History Server 配置部署
简介
为了可以通过WebUI控制台页面来查看具体的运行细节,解决应用程序运行结束,无法继续查看监控集群信息。无法回顾运行的程序细节,配置开启spark.history服务.Spark History Server可以很好地解决上面的问题。
配置文件位置:
$SPARK_HOME$/conf目录下的spark-defaults.conf文件。默认spark-defaults.conf是不存在的,我们可以根据Spark提供的template文件新建。
配置参数描述
spark.master spark://172.20.101.157:7070,172.20.101.164:7070,172.20.101.165:7070#spark集群的Master节点的ip地址spark.history.updateInterval#默认值:10,以秒为单位,更新日志相关信息的时间间隔spark.history.retainedApplications#默认值:50,在内存中保存Application历史记录的个数,如果超过这个值,旧的应用程序信息将被删除,当再次访问已被删除的应用信息时需要重新构建页面。spark.history.ui.port#默认值:4040,HistoryServer的web端口spark.history.ui.acls.enable#默认值:false,授权用户查看应用程序信息的时候是否检查acl。如果启用,只有应用程序所有者和spark.ui.view.acls指定的用户可以查看应用程序信息;否则,不做任何检查spark.eventLog.enabled #默认值:false ,是否记录Spark事件,用于应用程序在完成后重构webUIspark.eventLog.dir#默认值:file:///tmp/spark-events,保存日志相关信息的路径,可以是hdfs://开头的HDFS路径,也可以是file://开头的本地路径,都需要提前创建spark.eventLog.compress #默认值:false,是否压缩记录Spark事件,前提spark.eventLog.enabled为true,默认使用的是snappy
本地文件存储日志配置案例:
spark-defaults.conf
spark.master spark://172.20.101.157:7070,172.20.101.164:7070,172.20.101.165:7070spark.history.ui.port 18080spark.history.retainedApplications 10spark.eventLog.compress truespark.eventLog.enabled truespark.eventLog.dir file:/data/sparkhistoryspark.history.fs.logDirectory file:/data/sparkhistory
启动服务
$SPARK_HOME/sbin/start-history-server.sh
访问
浏览器:http://nodeIP:18080
信息
程序
应用
应用程序
配置
文件
日志
路径
运行
事件
开头
用户
细节
集群
页面
服务
检查
个数
位置
内存
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
电脑传感器怎么传到数据库
服务器压力机稳压好控制吗
榆林软件开发怎么样
绍兴新汉工控机服务器
特朗普宣布网络安全与基础设施
tcp服务器崩溃
湖北ios系统软件开发
相机数据恢复软件开发
哔哩哔哩用的是什么服务器
nosql数据库设计
京东淘宝使用的是什么数据库
java提供数据库能力的包是
tp-linkdns服务器
数据库查询right
移动硬盘数据恢复软件开发
软件开发工作量 人月
幻塔怎么退回选服务器界面
数据库中img什么意思
长飞智慧网络技术
网络安全大赛实战演练
网络技术公司光纤租赁协议
魅族软件开发者中心
高校招生信息管理系统数据库
软件开发有必要学前端吗
db2数据库win10
库存系统数据库设计
互联网是属于科技的吗
平阳县开展节前网络安全检查
数据库管理员可以做多久
360集群服务器