spark-submit提交集群执行


spark-submit
--master yarn-cluster //集群启动
--num-executors 1 //分配多少个进程
--driver-memory 500m //driver内存
--executor-memory 1g //进程内存
--executor-cores 1 //开多少个核,线程
--jars $(echo /usr/chl/spark8/jars/*.jar | tr ‘ ‘ ‘,’) //加载jar
--class com.hsiehchou.spark.streaming.kafka.kafka2es.Kafka2esStreaming /usr/chl/spark7/xz_bigdata_spark-1.0-SNAPSHOT.jar


文章作者: 谢舟
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 谢舟 !
  目录