精简版
0
0
0
云栖社区 > 阿里巴巴大数据 - 玩家社区 > 博客 > 正文
晋恒 2020-03-05 07:59:59 浏览 214
大数据
OSS
SQL
os
钉钉
aliyun
存储
MaxCompute
展开阅读全文
亲爱的开发者, MaxCompute 2020.2 月刊已为您准备妥当. 本次内容将为您带来 2020 年 2 月 MaxCompute 9 项重要的功能发布, 欢迎详细阅读并结合业务进行实践, 任何问题可以加入 "MaxCompute 开发者社区" 进行咨询, 社区钉钉群二维码请见文末.
1.[新功能] MaxCompute 存储格式全面升级 AliORC
MaxCompute 推出了自研的大数据列存储格式 AliOrc, 无论是读写性能, 还是数据压缩存储空间, 都有明显的提升.
适用客户
MaxCompute 公共云客户
发布功能
MaxCompute 存储格式升级到 AliOrc, 客户无需干预, 自动升级并提高读写性能.
2.[新功能] Python UDF 支持 Python 3 查看文档 >>>
Python 2 官方即将停止维护, 越来越多的三方库也开始只支持 Python 3,MaxCompute 也开启 Python3 的支持.
适用客户
MaxCompute 公共云客户
发布功能
Python UDF 支持 Python 3 的编译和运行环境.
3.[新功能] Tunnel upload sdk 支持 overwrite 的 ddl 语义 查看文档 >>>
Tunnel SDK 的 UploadSession 支持 overwirte 设置.
适用客户
MaxCompute 公共云客户
发布功能
Tunnel SDK 的 UploadSession 类的 createUploadSession 方法中增加了 overwrite 设置, 支持客户指定 tunnel 写入数据时覆盖表 / 分区中的现有数据.
4.[新功能] SQL 中列名书写错误的智能纠错提示
更加丰富智能的语法检查, 提高了 SQL 开发的调试效率.
适用客户
MaxCompute 公共云客户
发布功能
SQL 运行中, 当字段名错误时, MaxCompute 将猜测并提示正确的字段名.
5.[新功能] 外表支持 MSCK REPAIR TABLE 语法 查看文档 >>>
外表支持 MSCK REPAIR TABLE 语法, 可自动补齐分区, 简化了外表 DDL 操作.
适用客户
MaxCompute 公共云客户
发布功能
将数据导入 oss 后, oss 文件路径符合如下格式 oss://xxx/table-location/ptname1=ptvalue1/ptname2=ptvalue2/xxx. 创建外表并执行 msck repair table external_table_name [add partitions],sql 就会自动的解析 oss 的目录结构, 自动识别分区, 并为外表添加分区信息.
6.[新功能] 外表访问 OSS 支持 https
查询外部表时, 支持底层通过 htts 获取数据, 加强了数据传输的安全性.
适用客户
MaxCompute 公共云客户
发布功能
查询外部表时, 若需要底层通过 htts 获取数据, 可以在 sql 前添加 flag:set odps.sql.unstructured.data.oss.use.https=true; 一起提交执行来实现.
7.[新功能] GROUPING SETS 支持复杂 CUBE & ROLLUP 嵌套 查看文档 >>>
MaxCompute 支持 GROUPING SETS 与 CUBE & ROLLUP 嵌套使用, 简化了 SQL 书写, 提高开发效率.
适用客户
MaxCompute 公共云客户
发布功能
MaxCompute 扩充了 GROUPING 的表达方式, 支持 CUBE, ROLLUP,GROUPING SETS 的嵌套使用, 比如 groupingsets((os,device,city),(os,device),(os),(),(os,city)), 可写成: groupingsets(ROLLUP(os,device,city),(os,city)).
8.[新功能] 新增 Clone Table 命令, 支持表的复制 查看文档 >>>
MaxCompute 提供了 Clone Table 功能, 将表数据复制到另一个表中, 让数据移动和复制更便捷.
适用客户
MaxCompute 公共云客户
发布功能
MaxCompute 提供了 Clone Table 功能, 将表数据复制到另一个表中, 让数据移动和复制更便捷.
9.[新功能] 支持表级别的 disable lifecycle 查看文档 >>>
新增 SQL 命令, 支持表级别禁止 / 恢复生命周期.
适用客户
MaxCompute 公共云客户
发布功能
适用 TABLE DISABLE LIFECYCLE 命令, 可以取消掉已经给表设置的生命周期
产品官网 >>>
产品文档 >>>
欢迎扫码加入 MaxCompute 开发者社区钉钉群, 或 点击链接 申请加入.
来源: https://yq.aliyun.com/articles/747969