在过去三年里产生的数据量比以往四万年的数据量还要大大数据可以来自方方面面, 从日常生活购物到社交网络, 从地理位置定位到在线视频都会有大量的数据云计算的蓬勃发展, 进一步催生了大数据的价值廉价的存储和计算, 高效的海量数据处理, 我们已经进入了大数据时代今天, 移动交易广告社会化游戏在线传感器以及工业传感器数量在迅猛增长, 数据规模给传统技术带来了很大的挑战随着规模的不断增长传统软件无法解决 EB 级大数据处理带来的性能和成本方面的挑战
当企业 MySQL/RDS 业务数据规模增长到一定阶段, 比如单表数据量达到上亿, 就会出现计算性能和存储成本问题水平拆表? 垂直拆表? 一般业务型的研发团队, 很难有额外的精力投入到数据库方面, 也没有专业的 DBA 来不断调优数据库配置优化数据库服务器性能所以, 采用新的技术方案是最有效的方法
MaxCompute2.0 是一项提供快速完全托管的 EB 级数据仓库解决方案的大数据计算服务, 可以高效并经济的分析处理海量数据 MaxCompute 是阿里巴巴内部和阿里云的大数据旗舰平台, 阿里巴巴近 99% 的数据存储以及 95% 的计算能力都在这个平台上产生在计费方面, 存储一亿条数据, 每条 100B, 则数据量约 0.1G*100B= 10G10G 数据, 按照 MaxCompute 官方给出的 1:3 压缩率, 存放在 MaxCompute 每月只要支付 2 元多钱如果 10GB 数据全部参与排序计算, 每次 SQL 计算最低只要支付 3 元钱计费标准参考 https://help.aliyun.com/document_detail/27989.html
那么如何将 MySQL/RDS 数据迁移到 MaxCompute 上, 搭建数据仓库? 接下来, 我向大家介绍几款工具, 通过实战帮助大家更快完成目标
前提条件: 开通 MaxCompute; 开通教程参考 https://help.aliyun.com/document_detail/58226.html
数据上云篇
实时同步工具 - DTS(收费, 支持自建 MySQL 和 RDS)
数据传输 (Data Transmission) 服务 DTS 是阿里云提供的一种支持 RDBMS(关系型数据库)NoSQLOLAP 等多种数据源之间数据交互的数据服务它提供了数据迁移实时数据订阅及数据实时同步等多种数据传输能力
创建 RDS for Mysql 数据实时同步到 MaxCompute, 实现原理如下:
如上图所示, 整个同步过程分为两步:
全量初始化, 这个步骤将 RDS MySQL 中已经存在的全量数据初始化到 MaxCompute 中对于同步的每个表, 全量初始化的数据都会独立存储在 MaxCompute 中的全量基线表中, 这个表的默认格式为: 源表名_base 例如表 t1, 那么全量基线表在 MaxCompute 中存储的表名为: t1_dts_base 这个存储表名前缀可以根据需要变更, 您可以在配置任务时, 修改表在 MaxCompute 存储的名称
增量数据同步, 这个步骤将 RDS MySQL 产生的增量数据数据实时同步到 MaxCompute 中并存储在增量日志表中, 每个同步表对应一个增量日志表增量日志表在 MaxCompute 中存储的表名的默认格式为: 源表名_log 这个存储表名前缀可以根据需要变更, 您可以在配置任务时, 修改表在 MaxCompute 存储的名称
创建 MySQL 到 MaxCompute 数据实时同步作业
离线同步工具 - DataWorks 数据集成(公测, 支持自建 MySQL 和 RDS)
数据集成, 是阿里集团对外提供的稳定高效弹性伸缩的数据同步平台致力于提供复杂网络环境下丰富的异构数据源之间数据高速稳定的数据移动及同步能力
离线 (批量) 的数据通道主要通过定义数据来源和去向的数据源和数据集, 提供一套抽象化的数据抽取插件 (称之为 Reader) 数据写入插件(称之为 Writer), 并基于此框架设计一套简化版的中间数据传输格式, 从而达到任意结构化半结构化数据源之间数据传输的目的
静态数据和动态数据增量同步
整库迁移到 MaxCompute
VPC 环境 $ 金融云环境的数据同步
RDS 迁移到 Maxcompute 实现动态分区
总结, 通过上述两种方法, 可以帮助企业快速将 RDS/MySql 数据同步到 MaxCompute 中, 接下来, 用户可以通过 DataWorks 和 MaxCompute Studio 来进行日常的开发数据调度
华北 2(北京)Region MaxCompute 购买地址: https://common-buy.aliyun.com/?commodityCode=odpsplus#/buy
来源: https://yq.aliyun.com/articles/532336