China Azure 在HDinsight 中使用Spark 功能
发表于:2024-11-29 作者:千家信息网编辑
千家信息网最后更新 2024年11月29日,国际版的Azure 已经可以正常支持Spark应用,但是当我们在使用中国版的Azure的时候,在Azure中国版官网里面发现了有对Spark服务的介绍,而真正去使用的时候,却发现无法创建。只有Stor
千家信息网最后更新 2024年11月29日China Azure 在HDinsight 中使用Spark 功能
国际版的Azure 已经可以正常支持Spark应用,但是当我们在使用中国版的Azure的时候,在Azure中国版官网里面发现了有对Spark服务的介绍,而真正去使用的时候,却发现无法创建。只有Storm,HBase和Hadoop。如图:
那问题来了,中国版Azure的HDInsight是否支持Spark?
答案当然可以,不过需要自定义一下:
首先我们需要创建一个PAAS 层SQL Database 用来用以存储Hive、Oozie的元数据。
创建基于PAAS 层的HADOOP 集群:
HDInsight 3.1 clusters会安装Spark 1.0.2
HDInsight 3.2 clusters会安装Spark 1.2.0配置集群节点和虚拟机:
配置访问用户,勾选配置Oozie云存储:
配置Oozie存储SQL Database数据库:
配置存储:
使用脚本安装Spark:
插入Spark 配置脚步:
https://hdiconfigactions.blob.core.windows.net/sparkconfigactionv03/spark-installer-v03.ps1 。节点类型选择"仅头结点"
最后点击"创建"按钮即可。
配置
存储
中国
数据
时候
节点
集群
支持
只有
国际
国际版
按钮
数据库
用以
用户
答案
类型
结点
脚本
脚步
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
软件开发公司怎么找企业客户
web软件开发怎么样
浪潮服务器维修
战雷网络技术有限公司
acs数据库的全称
云服务器和服务器托管的区别
西安软件开发设计
打印机网络安全密钥不匹配
软件开发行业个税政策
天刀各服务器
怎样使用数据库实现创建表格
博途opc服务器接口的作用
网站怎么上传到服务器
数据库概念设计结构是什么
虚拟信息网络安全
linux提取两列数据库
nwindmdb数据库下载
公路工程造价数据库
形容软件开发高效
苹果定位链接服务器错误
计算机3级网络技术怎么考
达梦数据库创表存储过程
营业执照怎么上传到网络安全
广西网络技术有哪些
厂多多江苏网络技术有限公司
铜陵网络安全和信息化专家库成员
软件开发日语翻译
赞丽生活找不到服务器怎么办
一起学习网络安全十大方面
互联网企业科技类企业如何做账