千家信息网

spark1.3.1配置模板是怎么样的

发表于:2024-11-30 作者:千家信息网编辑
千家信息网最后更新 2024年11月30日,spark1.3.1配置模板是怎么样的,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。spark1.3.1搭配hadoop2.6.0,
千家信息网最后更新 2024年11月30日spark1.3.1配置模板是怎么样的

spark1.3.1配置模板是怎么样的,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

spark1.3.1搭配hadoop2.6.0,同时支持standalone和yarn

spark-env.sh

export SCALA_HOME=/home/hadoop/scala-2.11.6  #standaloneSPARK_WORKER_CORES=8SPARK_WORKER_MEMORY=16384M #yarnexport HADOOP_HOME=/home/hadoop/hadoop-2.6.0export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoopSPARK_EXECUTOR_INSTANCES=24SPARK_EXECUTOR_CORES=8SPARK_EXECUTOR_MEMORY=16384MSPARK_DRIVER_MEMORY=16384MSPARK_YARN_APP_NAME="Spark 1.3.1"

关于 spark1.3.1配置模板是怎么样的问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注行业资讯频道了解更多相关知识。

0