大家好, 今天为大家介绍华为云实时流计算服务 CS, 希望通过本次分享, 大家能对华为云实时流计算服务的服务能力和业务场景有所了解.
我们先了解一下实时流计算背景. 下面列举的是流数据普遍产生的四个方面: 一, 日志; 二, 物联网, 也就是传感器或者边缘设备所产生的数据; 三, 车联网, 也就是车辆行驶过程中或者车载系统所产生的数据; 四, StreamingML. 流数据普遍产生, 但并没有充分产生价值. 那么什么是实时流计算呢? 实时流是指计算框架按事件逐条实时处理, one-by-one 的数据流. 计算, 是指数学运算数据分析, 算法模型执行等. 实时流计算是指实时处理当下正在发生的流数据, 逐条大数据分析或运行机器学习算法.
以上这幅图是一个事件时间和执行时间的曲线. 相对于事件时间, 也就是事件发生的时间来说, 执行时间也就数据处理时间有一个延迟. 目前技术发展加速度不断上升, 人的耐心程度在下降, 而大数据增速在不断上升. 所以实时流计算需要快速驱动业务, 最大限度挖掘数据价值.
以上这幅图就是时间和数据价值的曲线. 我们可以看到距当下时间越近, 每 GB 所产生的价值越高, 几乎是呈一个指数型的函数, 因此大数据 AI 越实时越有价值. 当前的开源流数据的框架许多包括 APACHE STORM,Aakka,kafka 等等, 但是目前主流的框架主要是 Apache Spark 和 Flink, 实时流计算服务, 正是基于这两种框架.
那么实时流到底是什么? 实时流计算服务 (Cloud Stream Service, 简称 CS) 提供实时处理流式大数据的全栈能力, 简单易用, 即时执行 Stream SQL 或自定义作业. 无需关心计算集群, 无需学习编程技能. 完全兼容 Apache Flink 和 Spark API. 华为云实时流计算服务主要提供如下功能: 1.StreamingML : 提供多种流式机器学习方法对数据进行实时分析与预测, 用户仅需编写 SQL 调用相关函数便可实现数据统计, 异常检测, 实时聚类, 时间序列分析等场景; 2. 地理位置分析: 提供地理位置分析函数对地理空间数据进行实时分析, 用户仅需编写 SQL 便可实现例如偏航检测, 电子围栏等地理分析场景; 3.CEP SQL: 提供基于 Match Recognize 的模式匹配检测, 帮助业务人员使用 SQL 实现基于复杂事件规则的异常检测业务. 典型应用场景如欺诈检测, 车辆异常行为检测, 工业设备异常运行状态检测等; 4. 可视化: 提供多种图表类型实时展示作业数据输出, 用户可以通过 API 网关服务自由访问作业数据, 接入自定义工作流中. 应用场景包括易用, 低时延, 高吞吐的实时流分析; 物联网行业应用, 即物联网设备或边缘设备, 上传数据到数据接入服务 (DIS) 或者其他云存储服务, CS 直接从 DIS 读取数据, 实时分析数据流(故障检测, 数据清洗, 统计分析, 指标预警等等), 实时把流分析结果持久化或推送告警通知等.
想要学习更多实时流相关内容及如何使用吗, 现在进入华为云学院( https://edu.huaweicloud.com/courses/ ) 即可免费学习最新课程《华为云实时流计算服务》, 快速了解低时延, 高吞吐, 高可靠的分布式实时流计算服务!
来源: http://www.bubuko.com/infodetail-2923626.html