摘要: 阿里云表格存储于近期功能再升级, 升级后的表格存储支持对 DataHub 采集的数据进行持久化存储, 其 Python SDK 新增支持 Python 3.x, 以及最新发布的 TimelineLib 能够帮助用户轻松构建千万级 IM 和 Feed 流系统
阿里云表格存储于近期功能再升级, 升级后的表格存储支持对 DataHub 采集的数据进行持久化存储, 其 Python SDK 新增支持 Python 3.x, 以及最新发布的 TimelineLib 能够帮助用户轻松构建千万级 IM 和 Feed 流系统
功能一: 支持对 DataHub 采集的数据进行持久化存储
阿里云表格存储支持对 DataHub 采集的数据进行持久化存储用户可以通过 DataHub 服务对各种移动设备应用软件网站服务传感器等产生的大量流式数据进行持续不断的采集, 并实时写入到表格存储中进行持久化存储, 基于表格存储提供低成本弹性与高性能的数据在线服务
据了解, 该新功能适合使用 DataHub 进行数据采集并对数据有持久化存储与在线服务需求的用户
持久化存储功能的实现依赖 DataHub DataConnector 功能将 DataHub 服务中的流式数据同步到其他云产品中, 目前支持将 Topic 中的数据实时 / 准实时同步到 MaxCompute(ODPS)OSSElasticsearchRDS MysqlADSTableStore 中用户只需要向 DataHub 中写入一次数据, 并在 DataHub 服务中配置好同步功能, 便可以在各个云产品中使用这份数据数据同步支持 at least once 语义, 在网络服务异常等小概率场景下可能会导致目的端的数据产生重复
前置条件
创建 TableStore DataConnector 主要需要如下前置条件:
. TableStore 相关信息, 包括 TableStore 服务的 EndpointTableStore 实例及其对应的 Table;
. DataHub Topic 的 Owner/Creator 账号, 才有相应的权限操作 DataConnector, 包括创建, 删除等;
. TableStore 表的主键列必须在 DataHub Topic 下有字段一一对应 (定义顺序可以不一致);
. 授权服务角色 AliyunDataHubDefaultRole, 使得 DataHub 可以访问用户的 TableStore 资源
操作流程
进入 Topic 的详情页面:
选择同步 TableStore 并填写相关配置:
在 DataConnector 页面查看数据归档状态:
配置说明
注意事项
. TableStore 表的主键列必须在对应的 DataHub Topic 下存在同名的字段, 由于 DataHub 大小写不敏感, 所以 TableStore 的主键名如果存在大写字母, 那么在 DataHub Topic 有对应小写字段;
. 同步 TableStore 表的 DataConnector 任务仅支持 TUPLE 类型 Topic;
. TableStore 服务端自身的限制最大每次批量写入的行数为 200, 具体 TableStore 的相关限制请参考 https://help.aliyun.com/document_detail/27301.html
功能二: 表格存储 Python SDK 支持 Python 3.x
TableStore Python SDK 从现在开始可以支持 Python 3 了, Python 的 3.0 版本, 相对于 Python 的早期版本, 这是一个较大的升级为了不带入过多的累赘, Python 3.0 在设计的时候没有考虑向下兼容, 所以 Python2 和 Python3 有较大的不兼容目前已经有大量的项目和系统开始使用 Python 3,Python 官方对于 Python 2 的支持也将在未来 3 年内放弃支持
为了更好的满足 Python 3 用户的需求, TableStore 的新版本 SDK 对 Python3 做了适配性, 同一个版本可以支持 Python2.6,Python2.7,Python3.3,Python3.4,Python3.5 和 Python3.6 用户在安装的时候, 不管是通过 setup.py 还是 pip 方式, 安装脚本会自动根据当前使用的 Python 的版本选择不同的安装内容, 保证安装好的 TableStore Python SDK 可以完美适配 Python 版本
该项新功能适用于使用表格存储 Python SDK 的全网用户
功能三: TimelineLib
TableStore 发布 TimelineLib, 现在用户可以通过 TimelineLib 轻松构建千万级 IM 和 Feed 流系统 TimelineLib 基于表格存储, 实现了 Timeline 概念模型, 并将该模型转换成为对存储系统同步系统的读写接口, 并封装了对底层存储系统的交互逻辑
用户基于 TimelineLib 即可轻松实现一个基于表格存储的 IM 或者 Feed 流系统, 并能够充分的将表格存储的高并发低延时特性利用起来此功能特别适合需要 IMFeed 流系统的游戏社交类客户
来源: http://geek.csdn.net/news/detail/255546