在流式数据处理过程中, E-MapReduce 经常需要在 Kafka 与其他系统间进行数据同步或者在 Kafka 集群间进行数据迁移. 本节向您介绍如何在 E-MapReduce 上通过 Kafka Connect 快速的实现 Kafka 集群间的数据同步或者数据迁移.
前提条件
已注册云账号, 详情请参见注册云账号.
已开通 E-MapReduce 服务.
已完成云账号的授权, 详情请参见角色授权.
背景信息
Kafka Connect 是一种可扩展的, 可靠的, 用于在 Kafka 和其他系统之间快速的进行流式数据传输的工具. 例如, Kafka Connect 可以获取数据库的 binlog 数据, 将数据库数据同步至 Kafka 集群, 从而达到迁移数据库数据的目的. 由于 Kafka 集群可对接流式处理系统, 所以还可以间接实现数据库对接下游流式处理系统的目的. 同时, Kafka Connect 还提供
来源: https://yq.aliyun.com/articles/741428