第一次写文. 请允许我自我介绍一下...
大家好我是茉莉. 为什么叫茉莉呢? emmm ID 茉莉转圈圈? 皮一下, 嘻嘻嘻. 笔者两年小菜鸡 (差三天满两年). 因为公司只有一个我和前端两个人. 所以线上服务部署的任务自然而然就落到了我的肩膀上啦. 第一次用 docker 正式在生产环境部署服务. 从一个坑爬出来又掉入另一个坑. 就记录一下这次上线遇到的 bug. 写的不对的地方麻烦各位指正噢. 见谅! 好啦. 废话不多说. action!
本项目采用的是 spring cloud+spring boot+spring gateway+MySQL 还用到了 rabbitmq. 服务器为 centos7. 这里漏掉了一位大锅. 我其实还有一个相处了三个月的后端同事. 这位大锅因为请假去面试老板没有批但是他还是去了被开了, 框架都是他搭的. emmmm 于是 "锅" 便甩到了我的头上!
他采用的 zuul 被我换成了 gateway. Zuul 基于 servlet 2.5(使用 3.x), 使用阻塞 API. 它不支持任何长连接, 如 websockets. 而 Gateway 建立在 Spring Framework 5,Project Reactor 和 Spring Boot 2 之上, 使用非阻塞 API. Websockets 得到支持, 并且由于它与 Spring 紧密集成, 所以将会是一个更好的开发体验.(此段话抄自 @https://juejin.im/post/5aa4eacbf265da237a4ca36f)
docker 镜像服务使用的是阿里云的容器镜像服务. 问了一下同事, 说是用的 google 的容器工具 jib. 于是 Cmd+Shift+F 全局搜了一下 jib.(原谅是公司代码所以是骑兵代码⁄(⁄ ⁄•⁄ω⁄•⁄ ⁄)⁄)
点击进去可以看到
进入到阿里云找到容器镜像服务 (此处省略不知道镜像仓库是分区的, 找不到仓库以为是没权限, 然后厚着脸皮要来了管理员账号修改了离职同事的员工账号也还是没有找到仓库的步骤)
然后我创建了一个命名空间 xxx-prod, 然后在该空间下为每个服务都建好了仓库. 私有仓库. 代码源我选择的是本地仓库推送到镜像仓库. 其他的我也不太了解.
(后来发现其实不用建, jib 提交会自动创建仓库, 手动创建的时候选择) 使用 jib 提交上去后, 可以在仓库的版本信息里看到更新.
然后连接上服务器. 在 home 文件夹下面创建一个 docker 文件夹
- // 在 root 根目录
- //~]# centos7 的 emmm 怎么说呢, 就是 GitBash 和 OS 系统上面是 $ Windows 下面 cmd 是 >
- //home 下面创建一个 docker 文件夹
- ~]# mkdir /home/docker
- // 进入创建的 docker
- ~]# cd /home/docker
然后开始 pull 我们上传到阿里云的镜像. 其实随便哪个目录都可以 pull(此处省略第一次 pull 阿里镜像服务时, 没有看操作指南, 一度怀疑自己账号没有权限其实是没有 login, 然后一直 docker login, 殊不知后面应该加上阿里云的镜像地址: registry.cn-hangzhou.aliyuncs.com) 在阿里云的镜像服务管理控制台, 随便点开一个镜像仓库 --> 管理, 可以看到对镜像仓库的操作指南
镜像拉取完毕以后输入
~]# docker images
可以看到自己刚才 pull 到的镜像.
我问同事这里怎么这么多镜像, 他跟我解释说
emmm, 行吧! 总觉得有很多镜像占内存 (希望有知道的大佬不吝赐教, 感谢)
启动 eureka
- ~]# docker run -d --name eureka -p 8761:8761 -p 15672:15672 -p 9001:9001 -v /etc/localtime:/etc/localtime registry.cn-hangzhou.aliyuncs.com/xx_xxx_prod/eureka
- // -d 后台运行 -p 绑定端口这里绑定了三个端口, 一个是注册中心本身的端口, 一个是网关的端口, 另外一个是 rabbitmq 的端口
- //-v 打印版本信息
由于使用了 rabbitmq, 所以还需要再创建一个 rabbitmq 容器. 还是先拉取镜像
- // 这里注意获取镜像的时候要获取 management 版本的, 不要获取 last 版本的, management 版本的才带有管理界面.
- ~]# docker pull rabbitmq:management
- ~]# docker run -d --name rabbit -e RABBITMQ_DEFAULT_USER=xxx -e RABBITMQ_DEFAULT_PASS=xxx --network=container:eureka rabbitmq:management
- // 因为 docker 容器间是网络隔断的 --network 是加入 eureka 一样的网络环境这样才能被 eureka 治理下的服务访问到.
- //-e 是设置默认的账户密码 指令中是 xxx, 用到的朋友请自行调整.
然后启动自己的服务
- ~]# docker run -d --name xxx -v /home/docker/Web-prod/logs:/logs -v /etc/localtime:/etc/localtime --network=container:eureka registry.cn-hangzhou.aliyuncs.com/xx_xxx_prod/xxx
- //-v 是将日志挂载到自己制定的目录. 同样 --network 加入 eureka 的网络, 这里不用绑定端口.
- // 启动后可以在注册中心的控制台查看服务状态. ip + eureka 的端口.
这样服务就跑起来啦. 其他服务步骤类似. 最后补充一些在上线是遇到的小插曲. 一开始不知道 docker 容器间是网络隔断的, 一直连不上 rabbitmq, 因为之前一直没有使用 --network 假如 eureka 的网络. 所以服务内 localhost 访问不到 rabbitmq. 还有, 如果服务中有用到 rabbitmq 延时队列的话, 还需要安装延时队列的插件. 插件安装步骤
打开官网下载: http://www.rabbitmq.com/community-plugins.html
选择相应的对应的版本 "3.7.x" 点击下载.
- ~]# docker cp /home/docker/rabbitmq_delayed_message_exchange-20171201-3.7.x.ez rabbit:/plugins
- // 进入到 docker 内部
- ~]# docker exec -it rabbit /bin/bash
- // 开启插件
- rabbitmq-plugins enable rabbitmq_delayed_message_exchange
- // 查看安装的所有插件
- rabbitmq-plugins list
安装成功, 如图:
docker rm 删除容器时, 突然就删除不了了. docker ps -a 发现该容器的状态是 Dead(死亡), 网上查阅了很多资料, 什么强删, 查看挂载状态, 手动删除文件夹, 查看端口占用情况. 几乎都试过了, 没有效果.
最后大概经验使然, 鬼使神差的把 nginx 和 httpd 都关掉然后就可以删除了. 不要问我为什么同一台服务器同时装 nginx 和 httpd, 此项目原本是 PHP 项目, 由他们部署的, 我接手后自己使用的 nginx.
还有一个很奇怪的问题, 虽然解决了但后面我还是不太明白为什么会这样子. 用户表里面有一个 last_password_reset_date, 用户登录时会校验这个时间字段, 一直报 token 失效, 一个个字段日志输入后, 发着这个字段比数据库里面的时间相差 10 个小时, 当时想过是时区问题. 但是同一张表的另一个 register_date 字段时间是正常的, 于是便没有处理时区. 排查了很久, 以为是 java 接受的时间类型不对, 或是同事对这个字段进行了处理. 一直没搞定. 后面我把线上环境脸上测试库, 发现又正常. 最后查看了一下测试环境数据库的时区 , 是东八区. 线上库是默认的 GTM. 最后把正式库的时间改成了东八区就好了.
还有一个就是 Redis, 因为之前有一个公众号服务, 用到了 Redis, 当时 Redis 服务是在宿主机上面的. 所以, 想就连服务器宿主机上面算了, 但是一开始连不上, 后来把 Redis 的配置文件改了一下, bind 参数绑定内网 ip 就好了. 然后程序里面使用内网 ip 连上 Redis.
好啦就这样. 利用零零碎碎的时间, 写了三天, 希望可以给大家带来一点帮助. 掰掰!
来源: https://juejin.im/post/5c827cd3e51d453a12222e51