写熟悉的第一句代码
val conf = new SparkConf().setAppName("WordCount")
点击 SparkConf() , 发现
private val settings = new ConcurrentHashMap[String, String]()
可见 所有配置都是以 map[String,String] 定义的
- // 即 loadDefaults == true
- def this() = this(true)
- //
- if (loadDefaults) {
- // 加载系统默认配置
- loadFromSystemProperties(false)
- }
- private[spark] def loadFromSystemProperties(silent: Boolean): SparkConf = {
- // Load any spark.* system properties 加载所有 spark* 开头的系统属性
- for ((key, value) <- Utils.getSystemProperties if key.startsWith("spark.")) {
- set(key, value, silent)
- }
- this
- }
/** Set a configuration variable. */ 自己设置属性
- def set(key: String, value: String): SparkConf = {
- set(key, value, false)
- }
- // 开头所写的第一句代码即调用该方法 , 该方法又调用 set 方法 , 完成配置
- def setAppName(name: String): SparkConf = {
- set("spark.app.name", name)
- }
来源: http://www.bubuko.com/infodetail-3289489.html