China Azure 在HDinsight 中使用Spark 功能
发表于:2025-02-01 作者:千家信息网编辑
千家信息网最后更新 2025年02月01日,国际版的Azure 已经可以正常支持Spark应用,但是当我们在使用中国版的Azure的时候,在Azure中国版官网里面发现了有对Spark服务的介绍,而真正去使用的时候,却发现无法创建。只有Stor
千家信息网最后更新 2025年02月01日China Azure 在HDinsight 中使用Spark 功能
国际版的Azure 已经可以正常支持Spark应用,但是当我们在使用中国版的Azure的时候,在Azure中国版官网里面发现了有对Spark服务的介绍,而真正去使用的时候,却发现无法创建。只有Storm,HBase和Hadoop。如图:
那问题来了,中国版Azure的HDInsight是否支持Spark?
答案当然可以,不过需要自定义一下:
首先我们需要创建一个PAAS 层SQL Database 用来用以存储Hive、Oozie的元数据。
创建基于PAAS 层的HADOOP 集群:
HDInsight 3.1 clusters会安装Spark 1.0.2
HDInsight 3.2 clusters会安装Spark 1.2.0配置集群节点和虚拟机:
配置访问用户,勾选配置Oozie云存储:
配置Oozie存储SQL Database数据库:
配置存储:
使用脚本安装Spark:
插入Spark 配置脚步:
https://hdiconfigactions.blob.core.windows.net/sparkconfigactionv03/spark-installer-v03.ps1 。节点类型选择"仅头结点"
最后点击"创建"按钮即可。
配置
存储
中国
数据
时候
节点
集群
支持
只有
国际
国际版
按钮
数据库
用以
用户
答案
类型
结点
脚本
脚步
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
给用户授予查看数据库用户的权限
东城区一站式网络技术售后服务
天津专业软件开发设施应用
网络安全加固内容
数据库管理员的成长空间
nosql数据库的应用实例
对网络安全法的理解
软件开发需要注意什么条件
ftp到服务器
公安开展网络安全法教育
征文我身边的网络安全
字节分布式数据库
服务器双网卡 双网关
网络安全防护等级考试题库
数据库竖表查询效率
朝阳区推广软件开发多少钱
网络安全拟态
啥叫镜像服务器
上海现代软件开发注意事项
武昌区翻译服务器
中国自己的数学软件开发
哪里找软件开发前端工程师
购买手游服务器犯法吗
我县举行网络安全宣传活动
12306服务器连接错误
中国网络安全每年投入
数据库实现访问权限
数据库注册
软件开发面试如何知道水平
渭南网络技术服务