在分布式系统中,经常需要利用健康检查机制来检查服务的可用性,防止其他服务调用时出现异常。
对于容器而言,最简单的健康检查是进程级的健康检查,即检验进程是否存活。Docker Daemon 会自动监控容器中的 PID1 进程,如果 docker run 命令中指明了 restart policy,可以根据策略自动重启已结束的容器。在很多实际场景下,仅使用进程级健康检查机制还远远不够。比如,容器进程虽然依旧运行却由于应用死锁无法继续响应用户请求,这样的问题是无法通过进程监控发现的。
在 Kubernetes 提供了 Liveness 与 Readness 探针分别对 Container 及其服务健康状态进行检查。阿里云容器服务也提供了类似的服务健康检查机制。
而自 1.12 版本之后,Docker 引入了原生的健康检查实现,可以在 Dockerfile 中声明应用自身的健康检测配置。
指令声明了健康检测命令,用这个命令来判断容器主进程的服务状态是否正常,从而比较真实的反应容器实际状态。
- HEALTHCHECK
指令格式:
- HEALTHCHECK
:设置检查容器健康状况的命令
- HEALTHCHECK [选项] CMD <命令>
:如果基础镜像有健康检查指令,使用这行可以屏蔽掉
- HEALTHCHECK NONE
注:在 Dockerfile 中
只可以出现一次,如果写了多个,只有最后一个生效。
- HEALTHCHECK
使用包含
指令的 dockerfile 构建出来的镜像,在实例化 Docker 容器的时候,就具备了健康状态检查的功能。启动容器后会自动进行健康检查。
- HEALTHCHECK
支持下列选项:
- HEALTHCHECK
:两次健康检查的间隔,默认为 30 秒;
- --interval=<间隔>
:健康检查命令运行超时时间,如果超过这个时间,本次健康检查就被视为失败,默认 30 秒;
- --timeout=<间隔>
:当连续失败指定次数后,则将容器状态视为
- --retries=<次数>
,默认 3 次。
- unhealthy
: 应用的启动的初始化时间,在启动过程中的健康检查失效不会计入,默认 0 秒; (从 17.05) 引入
- --start-period=<间隔>
在
后面的命令,格式和
- HEALTHCHECK [选项] CMD
一样,分为
- ENTRYPOINT
格式,和
- shell
格式。命令的返回值决定了该次健康检查的成功与否:
- exec
:成功;
- 0
:失败;
- 1
:保留值,不要使用
- 2
容器启动之后,初始状态会为
(启动中)。Docker Engine 会等待
- starting
时间,开始执行健康检查命令,并周期性执行。如果单次检查返回值非 0 或者运行需要比指定
- interval
时间还长,则本次检查被认为失败。如果健康检查连续失败超过了
- timeout
重试次数,状态就会变为
- retries
(不健康)。
- unhealthy
注:
(健康) 状态
- healthy
事件。
- health_status
假设我们有个镜像是个最简单的 web 服务,我们希望增加健康检查来判断其 Web 服务是否在正常工作,我们可以用
来帮助判断,其
- curl
的
- Dockerfile
可以这么写:
- HEALTHCHECK
- FROM elasticsearch:5.5
- HEALTHCHECK --interval=5s --timeout=2s --retries=12 \
- CMD curl --silent --fail localhost:9200/_cluster/health || exit 1
- docker build -t test/elasticsearch:5.5 .
- docker run --rm -d \
- --name=elasticsearch \
- test/elasticsearch:5.5
我们可以通过 docker ps,来发现过了几秒之后,Elasticsearch 容器从
状态进入了
- starting
状态
- healthy
- $ docker ps
- CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
- c9a6e68d4a7f test/elasticsearch:5.5 "/docker-entrypoin..." 2 seconds ago Up 2 seconds (health: starting) 9200/tcp, 9300/tcp elasticsearch
- $ docker ps
- CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
- c9a6e68d4a7f test/elasticsearch:5.5 "/docker-entrypoin..." 14 seconds ago Up 13 seconds (healthy) 9200/tcp, 9300/tcp elasticsearch
另外一种方法是在
命令中,直接指明 healthcheck 相关策略。
- docker run
- $ docker run --rm -d \
- --name=elasticsearch \
- --health-cmd="curl --silent --fail localhost:9200/_cluster/health || exit 1" \
- --health-interval=5s \
- --health-retries=12 \
- --health-timeout=2s \
- elasticsearch:5.5
为了帮助排障,健康检查命令的输出(包括 stdout 以及 stderr)都会被存储于健康状态里,可以用 docker inspect 来查看。我们可以通过如下命令,来获取过去 5 个容器的健康检查结果
- docker inspect--format = '{{json .State.Health}}'elasticsearch
或
- docker inspect elasticsearch | jq ".[].State.Health"
示例结果如下
- {
- "Status": "healthy",
- "FailingStreak": 0,
- "Log": [{
- "Start": "2017-08-19T09:12:53.393598805Z",
- "End": "2017-08-19T09:12:53.452931792Z",
- "ExitCode": 0,
- "Output": "..."
- },
- ...
- }
由于应用的开发者会更加了解应用的 SLA,一般建议在 Dockerfile 中声明相应的健康检查策略,这样可以方便镜像的使用。对于应用的部署和运维人员,可以通过命令行参数和 REST API 针对部署场景对健康检查策略按需进行调整。
Docker 社区为提供了一些包含健康检查的实例镜像,我们可以在如下项目中获取 https://github.com/docker-library/healthcheck
注:
在 Docker 1.13 之后,在 Docker Swarm mode 中提供了对健康检查策略的支持
可以在
命令中指明健康检查策略
- docker service create
- $ docker service create -d \
- --name=elasticsearch \
- --health-cmd="curl --silent --fail localhost:9200/_cluster/health || exit 1" \
- --health-interval=5s \
- --health-retries=12 \
- --health-timeout=2s \
- elasticsearch
在 Swarm 模式下,Swarm manager 会监控服务 task 的健康状态,如果容器进入
状态,它会停止容器并且重新启动一个新容器来取代它。这个过程中会自动更新服务的 load balancer (routing mesh) 后端或者 DNS 记录,可以保障服务的可用性。
- unhealthy
在 1.13 版本之后,在服务更新阶段也增加了对健康检查的支持,这样在新容器完全启动成功并进入健康状态之前,load balancer/DNS 解析不会将请求发送给它。这样可以保证应用在更新过程中请求不会中断。
下面是在服务更新过程的时序图
在企业生产环境中,合理的健康检查设置可以保证应用的可用性。现在很多应用框架已经内置了监控检查能力,比如 Spring Boot Actuator。配合 Docker 内置的健康检测机制,可以非常简洁实现应用可用性监控,自动故障处理,和零宕机更新。
来源: https://yq.aliyun.com/articles/177494