什么是在线分析处理?
OLAP(Online Analytical Processing)允许用户同时分析来自多个数据库系统的信息. 这项技术使分析师能够从不同的角度提取和查看业务数据.
分析师经常需要分组, 汇总和加入数据. 关系数据库中的这些操作是资源密集型的. 使用 OLAP 数据可以预先计算和预先聚合, 从而加快分析速度.
OLAP 数据库分为一个或多个多维数据集. 立方体的设计使得创建和查看报告变得容易.
OLAP 多维数据集:
image
OLAP 的核心是 OLAP 多维数据集. OLAP 多维数据集是为快速数据分析而优化的数据结构.
OLAP 多维数据集由称为度量的数字事实组成, 这些度量按维度分类. OLAP Cube 也称为超立方体 .
通常, 使用简单的电子表格执行数据操作和分析, 其中数据值以行和列格式排列. 这是二维数据的理想选择. 但是, OLAP 包含多维数据, 数据通常从不同且不相关的源获取. 使用电子表格不是最佳选择. 多维数据集可以以逻辑和有序的方式存储和分析多维数据.
它是如何工作的?
数据仓库将从多个数据源和格式中提取信息, 如文本文件, Excel 工作表, 多媒体文件等.
提取的数据被清理和转换. 将数据加载到 OLAP 服务器 (或 OLAP 多维数据集) 中, 在这里预先计算信息以供进一步分析.
OLAP 的基本分析操作
OLAP 中的四种分析操作是:
Roll-up 汇聚
Drill-down 下沉
Slice and dice 切片和骰子
Pivot 旋转
1) Roll-up :
汇总也称为 "合并" 或 "聚合". 有两种方式
减少尺寸
概念层次结构是一种根据订单或级别对事物进行分组的系统.
image
在这个例子中, 城市新泽西和洛杉矶归入美国.
新泽西州和洛杉矶的销售额分别为 440 和 1560, 合并为 2000.
在此聚合过程中, 数据是位置层次结构从城市向国家.
在卷起过程中, 需要移除至少一个或多个尺寸. 在此示例中, Quater 维度已删除.
2)下沉
向下移动概念层次结构
增加维度
image
Quater Q1 将在 1 月, 2 月和 3 月进行. 相应的销售也是登记册.
在此示例中, 添加了维度月份.
3)切片:
选择维度, 创建新的子多维数据集.
下图说明了切片操作的执行方式:
image
使用 Q1 作为过滤器对尺寸时间进行切片.
完全创建了一个新的多维数据集.
Dice:
类似于切片. 不同之处在于您选择了 2 个或更多维度, 从而导致创建子多维数据集.
image
4)枢轴
在 Pivot 中, 您可以旋转数据轴以提供数据的替代表示.
在以下示例中, 数据透视表基于项类型.
image
OLAP 系统的类型
OLAP 分层结构
image
OLAP 的类型 | 说明 |
---|---|
关系 OLAP(ROLAP): | 扩展的 RDBMS 以及多维数据映射,以执行标准的关系操作。 |
多维 OLAP(MOLAP) | 在多维数据中实现操作。 |
混合在线分析处理(HOLAP) | 在 HOLAP 方法中,聚合总计存储在多维数据库中,而详细数据存储在关系数据库中。 这提供了 ROLAP 模型的数据效率和 MOLAP 模型的性能。 |
桌面 OLAP(DOLAP) | 在桌面 OLAP 中,用户从本地或在桌面上从数据库下载部分数据并进行分析。 DOLAP 的部署成本相对较低,因为与其他 OLAP 系统相比,它提供的功能非常少。 |
web OLAP(WOLAP) | 可以通过 Web 浏览器访问 OLAP 系统的 Web OLAP。 WOLAP 是一个三层架构。 它由三个组件组成:客户端,中间件和数据库服务器。 |
移动 OLAP: | Mobile OLAP 可帮助用户使用移动设备访问和分析 OLAP 数据 |
空间 OLAP: | 创建 SOLAP 是为了便于管理地理信息系统(GIS)中的空间和非空间数据 |
ROLAP
ROLAP 使用关系数据库中存在的数据. 事实和维度表存储为关系表. 它还允许对数据进行多维分析, 是增长最快的 OLAP.
ROLAP 模型的优点:
高数据效率. 它提供了高数据效率, 因为查询性能和访问语言特别针对多维数据分析进行了优化.
可扩展性. 这种类型的 OLAP 系统为管理大量数据提供了可扩展性, 即使数据正在稳步增长.
ROLAP 模型的缺点:
对更高资源的需求: ROLAP 需要高人力, 软件和硬件资源的利用率.
聚合数据限制. ROLAP 工具使用 SQL 进行聚合数据的所有计算. 但是, 处理计算没有设置限制.
查询性能慢. 与 MOLAP 相比, 此模型中的查询性能较慢
MOLAP
MOLAP 使用基于数组的多维存储引擎来显示数据的多维视图. 基本上, 他们使用 OLAP 多维数据集.
参考资料
python 测试开发项目实战 - 目录
python 工具书籍下载 - 持续更新
python 3.7 极速入门教程 - 目录
讨论 qq 群 630011153 144081101
来源: http://www.jianshu.com/p/3406aaa5ab01