[toc]
告警监控系统开发
一, 需求分析
[ ] 需求:
使用 shell 定制各种个性化告警工具, 但需要统一化管理, 规范化管理.
[ ] 思路:
指定一个脚本包, 包含主程序, 子程序, 配置文件, 邮件引擎, 输出日志等.
[ ] 主程序:
作为整个脚本的入口, 是整个系统的命脉.
配置文件:
是一个控制中心, 用它来开关各个子程序, 指定各个相关联的日志文件.
[ ] 子程序:
这个才是真正的监控脚本, 用来监控各个指标.
[ ] 邮件引擎:
是由一个 python 程序来实现, 它可以定义发邮件的服务器, 发邮件人以及发件人密码.
[ ] 输出日志:
整个监控系统要有日志输出.
二, 告警系统主脚本
按照好的习惯操作, 把所有的脚本全部放在 /usr/local/sbin 目录下, 并创建相应的子目录.
2.1 主脚本
2.1.1 创建相应的目录
- [root@xavi ~]# cd /usr/local/sbin
- [root@xavi sbin]# mkdir mon
- [root@xavi sbin]# cd mon
- [root@xavi mon]# mkdir mail bin shares conf log
- [root@xavi mon]# ls
- bin conf log mail shares
- #!/bin/bash
- # 是否发送邮件的开关 (维护模式下我们需要关闭此功能, 监控还是继续, 但不发任何邮件.)
- # export 定义的变量 send 将应用于所有子脚本中
- export send=1
- # 过滤 ip 地址 (目的是: 一旦报警, 需要需要知道是哪台机器的 IP, 没有服务端, 全部都是独立运行的. 监控的网卡可以修改, 也可更改为 hostname)
- export addr=`/sbin/ifconfig |grep -A1 "ens33:"|awk '/inet/ {print $2}'`
- # 当前主脚本所在目录
- dir=`pwd`
- # 只需要最后一级目录名
- last_dir=`echo $dir|awk -F'/' '{print $NF}'`
- # 下面的判断目的是, 保证执行脚本的时候, 我们在 bin 目录里, 不然监控脚本, 邮件和日志很有可能找不到 (脚本中涉及的目录几乎都是相对路径.)
- !!
- if [ $last_dir == "bin" ] || [ $last_dir == "bin/" ]; then
- conf_file="../conf/mon.conf"
- else
- echo "you shoud cd bin dir"
- exit
- fi
- # 定义输出的正确日志和错误日志
- exec 1>>../log/mon.log 2>>../log/err.log
- echo "`date +"%F %T"` load average"
- /bin/bash ../shares/load.sh
- # 先检查配置文件中是否需要监控 502
- if grep -q 'to_mon_502=1' $conf_file; then
- export log=`grep 'logfile=' $conf_file |awk -F '=' '{print $2}' |sed 's///g'`
- /bin/bash ../shares/502.sh
- fi
三, 告警系统配置文件
- [root@xavi bin]# cd ../conf
- [root@xavi conf]# vim mon.conf
- ## to config the options if to monitor
- ## 定义 mysql 的服务器地址, 端口以及 user,password(如下的 cdb 是我目前的数据库, 可选择监控与否)
- to_mon_cdb=0 ##0 or 1, default 0,0 not monitor, 1 monitor
- db_ip=10.20.3.13
- db_port=3315
- db_user=username
- db_pass=passwd
- ## httpd 如果是 1 则监控, 为 0 不监控
- to_mon_httpd=0
- ## php 如果是 1 则监控, 为 0 不监控
- to_mon_php_socket=0
- ## http_code_502 需要定义访问日志的路径 (配合如上主脚本, 如果 to_mon_502=1 就会开启监控报警)
- to_mon_502=1
- logfile=/data/log/xxx.xxx.com/access.log
- ## request_count 定义日志路径以及域名 (监控请求数, 如上说明 0 或者 1 开关与否)
- to_mon_request_count=0
- req_log=/data/log/www.xxx.com/access.log
- domainname=www.xxx.com
注释: 为什么我会在此定义 log 呢?
假如 server 台数很多, 我们必须考虑到脚本的通用型和易修改性. 目的就是环境变化, 我们只需要调节配置文件即可
四, 监控项目
4.1 告警系统 load.sh
- [root@xavi conf]# cd ../shares
- [root@xavi shares]# vim load.sh
4.1.1 跳转指定目录并配置
- #! /bin/bash
- load=`uptime |awk -F 'average:' '{print $2}'|cut -d',' -f1|sed 's///g' |cut -d. -f1`
- if [ $load -gt 10 ] && [ $send -eq "1" ]
- then
- echo "$addr `date +%T` load is $load">../log/load.tmp
- # load.tmp 在发邮件时用到它, mail.sh 会用到 mail.py
- /bin/bash ../mail/mail.sh test@163.com "$addr\_load:$load" `cat ../log/load.tmp`
- fi
- echo "`date +%T` load is $load"
- # 记录到系统日志中
4.1.2 脚本分析
[ ] load: 的值可以先配置到系统去查看是否正确 (取得整数).
[ ] 告警前提: 然后针对负载的值去判断 (判断的值, 可根据自己真实 server 的硬件去配置合适的值!!)
[ ] 发邮件告警: 满足负载超过 10, 且不在维护模式 (主配置文件定义的)
[ ] 执行动作: 写入日志, 并执行发邮件的脚本 (后面会介绍).
[ ] 脚本: 高于负载就报警; 不高于负载就记录到日志.
4.2 告警系统 502.sh
4.2.1 直接在当前目录创建监控脚本:
- [root@xavi shares]# pwd
- /usr/local/sbin/mon/shares
- [root@xavi shares]# vim 502.sh
- #! /bin/bash
- d=`date -d "-1 min" +%H:%M`
- c_502=`grep :$d: $log |grep '502'|wc -l`
- if [ $c_502 -gt 10 ] && [ $send == 1 ]; then
- echo "$addr $d 502 count is $c_502">../log/502.tmp
- /bin/bash ../mail/mail.sh $addr\_502 $c_502 ../log/502.tmp
- fi
- echo "`date +%T` 502 $c_502"
4.2.2 脚本分析
截取一分钟前的日志文件并判断, 如果 502 的次数超过 10 次, 或者不在维护模式 (主脚本已经定义) 就调用 mail 发邮件, 如果没有, 仅仅记录日志.
4.3 告警系统 disk.sh
4.3.1 创建监控脚本 (适用于系统语言为英文的, 如果不是英文需要在脚本中更改系统语言为 LANG=en ):
- [root@xavi shares]# vim disk.sh
- #! /bin/bash
- LANG=en
- rm -f ../log/disk.tmp
- ## 用空格或者 % 为分隔符, 筛选出来磁盘使用量的百分比.
- for r in `df -h |awk -F '[ %]' '{print $5}'|grep -v Use`
- do
- if [ $r -gt 90 ] && [ $send -eq "1" ]
- then
- echo "$addr `date +%T` disk useage is $r">>../log/disk.tmp
- fi
- done
- if [ -f ../log/disk.tmp ]
- then
- df -h>> ../log/disk.tmp
- /bin/bash ../mail/mail.sh $addr\_disk $r ../log/disk.tmp
- echo "`date +%T` disk useage is nook"
- else
- echo "`date +%T` disk useage is ok"
- fi
脚本解析:
[ ] 监控所有磁盘分区
[ ] 查看各个磁盘的已用百分比
[ ] 设置分区使用量的告警值
[ ] 写入一个临时文件
[ ] 再次加一重判断, 如果文件存在就开始发邮件报警并写入日志
来源: http://www.bubuko.com/infodetail-2572843.html