如果说十年前, 王坚创立阿里云让云计算在国内得到了普及, 那么王坚带领团队自主研发的大数据计算平台 MaxCompute 则推动大数据技术向前跨越了一大步.
数据是企业的核心资产, 但十年前阿里巴巴的算力已经无法满足当时急剧增长数据量的需求. 基于 Hadoop 搭建集群是当时解决大规模数据计算的主流方案, Hadoop 生态已经比较成熟, 而且在规模上也可以解决当时阿里遇到的性能瓶颈. 但刚加入阿里的王坚却另辟蹊径, 决定自研一个大数据计算平台, 也就是今天的 MaxCompute.
但王坚看到, 当时淘宝的业务还在快速增长, 如果用 Hadoop 搭建的计算平台会再次遇到挑战, 更别提为外部企业提供算力.
也正是因为这一坚持, 才有了今天 EB 级的大数据计算平台 MaxCompute. 过去十年, MaxCompute 打破了多个记录: 2013 年, 突破了单集群内 5000 台服务器同时计算的局限, 如今单集群已超过 1 万台的规模; 2015 年, 打破计算界奥运会 SortBenchmark 的 4 个世界纪录, 用不到 7 分钟便完成了 100TB 的数据排序, 刷新了 ApacheSpark 23.4 分钟的纪录; 2017 年成为全球首个 100TB 规模 Bigbench 测试通过的大数据计算平台.
如今 MaxCompute 已经成为众多企业和机构算力的来源, 为众安保险, 墨迹天气, 协鑫光伏, 千寻位置, 华大基因, 人人车等各行业企业数字化转型提供了强大的算力. 例如, 墨迹天气使用 MaxCompute 后, 开发效率提升超过 5 倍, 存储和计算费用节省了 70%, 每天处理分析 2TB 的日志数据, 更高效的赋能其个性化运营策略; 此外, MaxCompute 还支撑城市大脑自动指挥城市路口信号灯, 并且成功应用于杭州, 澳门, 吉隆坡等国内外多个城市的交通治理.
从全球范围来看, 拥有自研大数据计算平台的科技公司也只有阿里云, Google 和亚马逊几家. 但倘若当初没有王坚的坚持和远见, 恐怕今天许多互联网公司, 也难以享受到 MaxCompute 带来的红利.
MaxCompute 产品官网 https://www.aliyun.com/product/odps
来源: https://yq.aliyun.com/articles/696850