数据加工诊断仪表盘
日志服务加工功能的运行状态可以通过该仪表盘进行查看, 入口是加工列表页的 "规则洞察" 按钮:
点击改按钮跳转到仪表盘后, 可以分别按照作业名称, 实例 ID, 源 LogStore 筛选其它任务状态. 例如下图是默认查看当前实例 ID(90c9d47714dbb807d47c13b819d3e7df)的作业:
注: 预览任务的状态数据不计入本报表.
总览指标
读日志数总计: 从源 LogStore 各 shard 读取到的日志条数总计
投递日志数总计: 从源 LogStore 各 shard 读取到日志并成功投递到目标 LogStore 的日志条数总计
失败日志数总计: 从源 LogStore 各 shard 读取到日志并在加工过程中发生失败的日志条数总计
投递日志数占比: 成功投递到目标 LogStore 的日志条数占源 LogStore 读取到日志条数的比例
加工速率指标
统计每分钟窗口内, 数据加工处理的日志条数, 包括四条指标:
accept: 从源 LogStore 读到的日志条数
dropped: 从源 LogStore 读到并按代码预期丢弃的日志条数
delivered: 从源 LogStore 读到并成功投递目标 LogStore 的日志条数
failed: 从源 LogStore 各 shard 读取到日志并在加工过程中发生失败的日志条数
消费延迟与速率指标
统计每分钟窗口内, 加工任务读取源 LogStore 时每个 Shard 指标:
消费延迟: 当前时间 - 该 Shard 最近的已完成日志时间(日志写入日志服务时间, 也级 Server Arrived Time)
消费速率: Shard 在该分钟窗口内每秒钟读取到的日志条数
注: 处理实时 (最新) 日志时消费延迟一般是 1s 左右; 如果处理的是历史时间范围的日志数据, 在任务开始的阶段消费延迟可能会很高, 并随这数据加工的进行, 消费进度不断追赶最终达到低延迟水平.
活跃 Shard 指标
展示最近一段时间内发生的, Shard 级别每秒处理的日志行数(accept,dropped,delivered,failed).
异常详情
您可以根据 reason 字段, 查看可能导致出错的代码问题. 你还可以深入到当前 Project 下的 internal-etl-log LogStore(免费提供使用):
通过关键词 ERROR 或者 WARNING 查看完整的代码执行错误日志.
如果问题仍无法解决, 可以提供该部分信息联系日志服务进行支持.
进一步参考
欢迎扫码加入官方钉钉群 (11775223)获得实时更新与阿里云工程师的及时直接的支持:
来源: https://yq.aliyun.com/articles/704939