什么是 ETL?
ETL 是 Extract,Transform 和 Load 的缩写. 在此过程中, ETL 工具从不同的 RDBMS 源系统中提取数据, 然后转换数据, 如应用计算, 连接等, 然后将数据加载到数据仓库系统中.
ETL 流程需要来自各种利益相关方 (包括开发人员, 分析师, 测试人员, 高级管理人员) 的积极参与. 为了保持其作为决策者工具的价值, 数据仓库系统需要随业务变化而变化. ETL 是数据仓库系统的重复活动(每日, 每周, 每月), 需要灵活, 自动化且有良好的文档.
你为什么需要 ETL?
在组织中采用 ETL 的原因有很多:
它可以帮助公司分析业务数据, 从而做出关键业务决策.
事务数据库无法回答 ETL 可以回答的复杂业务问题.
数据仓库提供公共数据存储库
ETL 提供了将数据从各种源移动到数据仓库的方法.
随着数据源的变化, 数据仓库将自动更新.
精心设计和记录的 ETL 系统对于数据仓库项目的成功几乎是必不可少的.
允许验证数据转换, 聚合和计算规则.
ETL 过程允许源和目标系统之间的样本数据比较.
ETL 过程可以执行复杂的转换, 并需要额外的区域来存储数据.
ETL 有助于将数据迁移到数据仓库中. 转换为各种格式和类型.
ETL 是用于访问和操作源数据到目标数据库的预定义过程.
ETL 为业务提供深刻的历史背景.
它有助于提高生产力.
数据仓库中的 ETL 过程
ETL 分为 3 个步骤
图片. PNG
提取
在此步骤中, 将数据从源系统提取到暂存区域. 如果在暂存区域中完成转换, 源系统的性能不受影响. 暂存区域也有助于验证.
数据仓库需要集成不同的系统
DBMS, 硬件, 操作系统和通信协议. 来源可能包括遗留应用程序, 如大型机, 自定义应用程序, ATM 等联系设备, 呼叫交换机, 文本文件, 电子表格, ERP, 供应商提供的数据, 合作伙伴等.
因此, 在物理提取和加载数据之前需要逻辑数据映射. 此数据映射描述了源和目标数据之间的关系.
三种数据提取方法:
完全提取
部分提取 - 无更新通知.
部分提取 - 带更新通知
无论使用何种方法, 提取都不应影响源系统的性能和响应时间. 这些源系统是实时生产数据库. 任何减速或锁定都可能影响公司的底线.
在提取期间完成了一些验证:
协调记录与源数据
确保没有加载垃圾 / 不需要的数据
数据类型检查
删除所有类型的重复 / 碎片数据
检查所有 keys
转换
从源服务器提取的数据是原始的, 不能以其原始形式使用. 因此需要对其进行清理, 映射和转换. 事实上, 这是 ETL 流程增加价值和更改数据的关键步骤, 从而可以生成富有洞察力的 BI 报告.
在此步骤中, 您将对提取的数据应用一组函数. 不需要任何转换的数据称为直接移动或传递数据 .
在转换步骤中, 您可以对数据执行自定义操作. 例如, 如果用户想要不在数据库中的销售总额收入. 或者, 如果表中的名字和姓氏位于不同的列中. 可以在加载之前连接它们.
图片. PNG
以下是数据完整性问题:
Jon,John 等同一个人的拼写不同
有多种方式可以表示 Google,Google Inc. 等公司名称.
使用不同的名字, 如 Cleaveland,Cleveland.
可能存在由同一客户的各种应用程序生成不同帐号的情况.
部分数据缺失
在 POS 处收集的产品无效, 因为手动输入可能导致错误.
验证在此阶段完成
过滤 - 仅选择要加载的特定列
使用规则和查找表进行数据标准化
字符集转换和编码处理
转换计量单位, 如日期时间转换, 货币换算, 数字转换等.
数据阈值验证检查. 例如, 年龄不能超过两位数.
从暂存区到中间表的数据流验证.
必填字段不应留空.
清理(例如, 将 NULL 映射到 0 或将性别男性映射到 "M", 将女性映射到 "F" 等)
将列拆分为多个列并将多个列合并为一个列.
转置行和列,
使用查找来合并数据
使用任何复杂的数据验证(例如, 如果一行中的前两列是空的, 那么它会自动拒绝处理中的行)
加载
将数据加载到目标数据仓库数据库是 ETL 过程的最后一步. 在典型的数据仓库中, 需要在相对较短的时间段 (夜晚) 加载大量数据. 因此, 应针对性能优化负载过程.
如果发生负载故障, 应将恢复机制配置为从故障点重新启动, 而不会丢失数据完整性. 数据仓库管理员需要根据主要服务器的性能监控, 恢复和取消负载.
加载类型:
初始加载 - 填充所有数据仓库表
增量负载 - 定期应用持续更改.
完全刷新 - 删除一个或多个表的内容并使用新数据重新加载.
加载验证
确保关键字段数据既不缺少也不为空.
基于目标表测试建模视图.
检查组合值和计算的度量.
维度表和历史表中的数据检查.
检查加载的事实和维度表上的 BI 报告.
参考资料
python 测试开发项目实战 - 目录
python 工具书籍下载 - 持续更新
python 3.7 极速入门教程 - 目录
讨论 qq 群 630011153 144081101
来源: http://www.jianshu.com/p/66c1af0647b2