sponsored links

spark-submit工具参数说明

转自:http://my.oschina.net/u/140462/blog/519409

==================================================

执行时需要传入的参数说明

Usage: spark-submit [options] <app jar | python file> [app options]


参数名称


含义


--master MASTER_URL


可以是spark://host:port, mesos://host:port, yarn,  yarn-cluster,yarn-client, local


--deploy-mode DEPLOY_MODE


Driver程序运行的地方,client或者cluster


--class CLASS_NAME


主类名称,含包名


--name NAME


Application名称


--jars JARS


Driver依赖的第三方jar包


--py-files PY_FILES


用逗号隔开的放置在Python应用程序PYTHONPATH上的.zip,  .egg, .py文件列表


--files FILES


用逗号隔开的要放置在每个executor工作目录的文件列表


--properties-file FILE


设置应用程序属性的文件路径,默认是conf/spark-defaults.conf


--driver-memory MEM


Driver程序使用内存大小


--driver-java-options

 

--driver-library-path


Driver程序的库路径


--driver-class-path


Driver程序的类路径


--executor-memory MEM


executor内存大小,默认1G


--driver-cores NUM


Driver程序的使用CPU个数,仅限于Spark Alone模式


--supervise


失败后是否重启Driver,仅限于Spark  Alone模式


--total-executor-cores NUM


executor使用的总核数,仅限于Spark Alone、Spark on Mesos模式


--executor-cores NUM


每个executor使用的内核数,默认为1,仅限于Spark on Yarn模式


--queue QUEUE_NAME


提交应用程序给哪个YARN的队列,默认是default队列,仅限于Spark on Yarn模式


--num-executors NUM


启动的executor数量,默认是2个,仅限于Spark on Yarn模式


--archives ARCHIVES


仅限于Spark on Yarn模式

Tags: