原创文章,谢绝转载
Spark 2.x自2.0.0发布到目前的2.2.0已经有一年多的时间了,2.x宣称有诸多的性能改进,相信不少使用Spark的同学还停留在1.6.x或者更低的版本上,没有升级到2.x或许是由于1.6相对而言很稳定,或许是升级后处处踩坑被迫放弃。
Spark SQL是Spark中最重要的模块之一,基本上Spark每个版本发布SQL模块都有不少的改动,而且官网还会附带一个Migration Guide帮忙大家升级。问题在于Migration Guide并没有详尽的列出所有变动,本文以SQL模块为主,扒一扒Spark升级2.x过程中可能会踩到的坑。
那些升级后,让你感到心中有千万只草泥马奔腾而过的问题
返回的是true!Spark 2.2中,0.1会被转换为int,如果你的数据类型全部是文本类型,做数值计算时,结果极有可能不正确。之前的版本中0.1会被转换为double类型绝大多数场景下这样的处理是正确的。目前为止,社区还没有很好的处理这个问题,针对这个问题,我给社区提交过一个PR,想要自己解决这个问题的同学,可以手动合并下:https://github.com/apache/spark/pull/18986
- SELECT '0.1' = 0
会报错,这个问题已在2.1.2及2.2.0中修复:https://issues.apache.org/jira/browse/SPARK-20211
- SELECT 1 > 0.0001
涉及到常量计算结果不正确,后续版本已修复:https://issues.apache.org/jira/browse/SPARK-19766
- INNER JOIN
,如果col列数据为null,会报空指针异常,后续版本已修复:https://issues.apache.org/jira/browse/SPARK-19509
- GROUPING SET(col)
那些不算太致命,改改代码或配置就可以兼容的问题。
相关属性的操作,明明存在的属性,使用
- spark.sql.*
无法获取到,同理也无法执行
- SHOW TBLPROPERTIES tb("spark.sql.sources.schema.numParts")
进行修改
- ALTER TABLE tb SET TBLPROPERTIES ('spark.sql.test' = 'test')
这里假设tb是EXTERNAL类型的表
- ALTER TABLE tb SET TBLPROPERTIES ('test' = 'test')
,在2.x以下不会报错,由于我们指定了IF EXISTS关键字,这里的报错显然不合理,需要做异常处理。
- AnalysisException: Cannot drop a table with DROP VIEW
变成了
- Table not found
,如果你的代码里依赖这个异常信息,就需要注意调整了。
- Table or view not found
开启
- spark.sql.crossJoin.enabled
函数在2.x变成了
- GROUPING__ID
- GROUPING_ID()
的语句会报错,需要单独设置
- SELECT 1 FROM tb GROUP BY 1
类似的参数还有
- spark.sql.groupByOrdinal false
- spark.sql.orderByOrdinal false
,需要通过Spark的
- hive.metastore.warehouse.dir
配置指定数据库的默认存储路径。
- spark.sql.warehouse.dir
执行会报错
- ROW_NUMBER() OVER()
返回-1,之前的版本返回null
- SIZE(null)
, Spark 1.6:
- org.apache.spark.sql.AnalysisException: Undefined function: 'xxx’.
,参数格式错误:Spark 2.x:
- AnalysisException: undefined function xxx
, Spark 1.6:
- Invalid number of arguments
- No handler for Hive udf class org.apache.hadoop.hive.ql.udf.generic.GenericUDAFXXX because: Exactly one argument is expected..
:https://issues.apache.org/jira/browse/SPARK-12299,https://issues.apache.org/jira/browse/SPARK-18683
- /api/v1/applications
那些升级到2.x后,发现有问题回退后,让你欲哭无泪的问题。
进行修复,否则再次升级会出现缺数据的现象。
- MSCK REPAIR TABLE
从2.2.0开始,Spark不在支持Hadoop 2.5及更早的版本,同时也不支持Java 7 了,所以,如果你用的版本比较老,还是尽快升级的比较好。
2.x中对于ThriftServer或JobServer这样的长时间运行的服务,稳定性不如1.6,如果您的计算业务复杂、SQL计算任务繁多、频繁的更新数据、处理数据量较大,稳定性的问题更加凸显。稳定性问题主要集中在内存方面,Executor经常出现堆外内存严重超出、OOM导致进程异常退出等问题。Executor进程OOM异常退出后相关的block-mgr目录(也就是SPARK_LOCAL_DIRS)并不会被清理,这就导致Spark Application长时间运行很容易出现磁盘被写满的情况。
Spark 2.x中为了性能,SQL模块的改动相当大,这也导致Bug变多,稳定性变差。当然,随着Spark的不断改进迭代,这些问题也在逐步缓解。
对于一个计算服务,相比性能,数据计算的正确性及稳定性更加重要。建议尚未升级到2.x的同学,最好使用最新的Spark版本做升级;升级前,务必结合自己的业务场景做好充分的测试,避免踩坑。
本文同步更新到微信公众号,欢迎扫码关注。
来源: http://www.cnblogs.com/jasondan/p/7503180.html