精简版
0
0
0
云栖社区 > Apache Spark 中国技术社区 > 博客 > 正文
开源大数据 EMR 2020-01-08 11:46:59 浏览 127
监控
spark
开源大数据
- string
- class
- unit
展开阅读全文
本文转载自公众号: Spark 学习技巧
马上要过年了, 大部分公司这个时候都不会再去谋求开新业务, 而大数据工匠们, 想要过好年, 就要保证过年期间自己对自己的应用了如执掌. 一般公司都会有轮值人员, 至少要有春节应急预案, 尤其是对于我们这些搞平台, 或者线上应用的, 应急预案更是必不可少. 今天浪尖主要是分享一下关于在 yarn 上的 spark 任务我们应该做哪些监控, 如何监控.
Spark on yarn 这种应用形态目前在企业中是最为常见的, 对于这种 spark 的任务, 浪尖觉得大家关心的指标大致有: App 存活, spark streaming 的 job 堆积情况, job 运行状态及进度, stage 运行进度, rdd 缓存监控, 内存监控等.
其实, 春节最为重要的就是 App 存活了, 春节期间各大应用应该都会有一部分数据增量, 那么实际上就需要我们的程序能有一定
如果您发现本社区中有涉嫌抄袭的内容, 欢迎发送邮件至: yqgroup@service.aliyun.com 进行举报, 并提供相关证据, 一经查实, 本社区将立刻删除涉嫌侵权内容.
来源: https://yq.aliyun.com/articles/742022