记录 spark 使用中常见问题
SparkSQL
日期解析时用到 SimpleDateFormat, SimpleDateFormat 是线程不安全的. 可以使用 FastDateFormat
如:
- import org.apache.commons.lang3.time.FastDateFormat
- // 输入文件日期时间格式
- // [10/Nov/2018:00:01:02 +0800]
- val YYYYMMDDHHMM_TIME_FORMAT = FastDateFormat.getInstance("dd/MMM/yyyy:HH:mm:ss Z", Locale.ENGLISH)
来源: http://www.bubuko.com/infodetail-3094895.html