深圳云栖大会已经圆满落幕, 在 3 月 29 日飞天技术汇 - 弹性计算网络和 CDN 专场中, 阿里云 CDN 高级技术专家周哲为我们带来了海量短视频极速分发的主题分享, 带领我们从视频内容采集上传存储和分发的角度介绍整体方案, 并且重点讲解短视频加速的注意事项和用户体验优化要点
讲解从三个部分展开: 短视频应用场景阿里云短视频解决方案阿里云对短视频用户体验的相关优化
短视频应用场景
短视频比图片和文字包含更多的信息, 在移动互联网普及的今天, 短视频应用场景非常广泛
一 社群分享场景
用户可以录制视频, 进行特效编辑处理, 上传到服务器, 通过社区的方式分享给好友
二 电商场景
商家可以快速拍摄制作商品的短片, 把商品的介绍视频发给消费者, 这样可以提高购买转化率
三 IM 聊天场景
在交流过程中, 通过随拍随传的短视频, 用户可以更生动的表达观点, 更真实的传递情感
四 新媒体场景
区别于传统单一的图文展示形态, 短视频可以快速收集及发布新闻, 一键呈现世界
五 体育赛事场景
集成短视频 SDK 后, 用户可以在现场实时拍摄和剪辑, 生成具有传播价值的短视频, 通过分享来全网同步赛事
阿里云针对短视频的业务场景, 提供了一整套技术解决方案在主播端, 提供了视频上传 SDK 和短视频 SDK, 在观众端提供视频播放 SDK, 在服务器端提供点播服务 OSS 存储和 CDN 加速
对于开发者来说, 短视频解决方案的使用流程是这样的: 首先主播端使用短视频 SDK 对用户的视频进行录制特效处理和剪辑, 然后将视频通过上传 SDK 上传到服务器端, 在服务器端先通过点播服务进行转码以及视频处理, 然后把处理好的视频存储到 OSS 上, 做持久化保存在播放端集成播放器 SDK, 播放器会向 CDN 请求资源, CDN 如果有缓存会把缓存的数据发给客户端如果 CDN 缓存没有数据会去 OSS 中拉取数据, 在返回给客户端, 并把数据缓存到 CDN 上开发者使用这些技术组件, 可以快速的开发短视频业务
下面, 我们逐一介绍解决方案的能力与特点
解决方案中的视频 SDK, 包括短视频上传和播放三个短视频 SDK 包含人脸贴图高级美颜的功能, 在用户录制视频之后先进行本地美颜再进行上传, 同时也提供专业滤镜 MV 特效和裁剪压缩添加音乐的功能, 使视频剪辑大众化; 上传 SDK 通过快速通道可以把视频传输到服务器端, 支持断点续传后台上传多文件管理等功能; 播放器 SDK 支持 AndroidIOSflashH5 等多个平台加密播放和安全下载等
点播和存储服务, 点播服务提供视频管理相关的功能, 比如视频转码, 窄带高清可以在相同的用户观感体验下, 节约 30% 的带宽; 云剪辑功能可以在线对视频进行编辑处理; 同时点播服务提供丰富的数据统计, 开发者利用阿里云提供的 API 访问实时数据
同时, 阿里云也在视频领域开放了 AI 技术, 包括内容审核, 降低违规风险; 智能封面, 对视频结构化处理和算法选取最优视频帧作为视频封面; 标签预测, 通过 AI 来识别视频中文字图像人物等信息, 自动生成视频标签等
基于短视频业务产生的海量数据, 阿里云也提供了高可靠强安全低成本的存储服务
为了应对短视频大规模的业务需求, 阿里云 CDN 建设了大量的基础设施
首先, 阿里云 CDN 拥有全球 1200 多个节点, 分布在全球各个国家和地区, 贴近用户部署, 使用户更快速的访问视频内容, 使视频体验更好同时, 为了面对业务的突发流量, 阿里云提供了超过 80TB 的带宽储备, 为持续增长的业务保驾护航并且, 单节点缓存容量超过 1PB, 通过提供更大的缓存空间, 来提升用户访问速度
介绍完了解决方案之后, 周哲老师又为大家介绍了阿里云在短视频领域的一些优化技术
短视频用户体验的关键指标有首屏时间播放卡顿和播放错误
一首屏时间是指在视频稳定播放期间, 从用户点击播放到视频开始播放之间的时间差首屏时间越长, 会导致用户提前结束播放
二播放卡顿是指在播放过程中的不流畅情况, 会严重影响用户体验
三播放错误是指用户播放视频时没有成功播放, 或出现异常导致提前中断
用户体验优化剖析
为了解决这些问题, 我们对整个架构进行剖析
首先, 终端用户使用阿里云提供的视频 SDK 来请求调度服务器, 调度服务器返回对应的节点 IP, 然后播放器通过 CDN 的节点 IP 来请求资源, CDN 的边缘节点如果有缓存的话可以从本地发给播放器, 如果没有缓存就去二级节点进行访问, 二级节点没有缓存会去 OSS 或者用户源站拉取数据
阿里云 CDN 有一级节点二级节点的缓存, 二级节点的作用是
第一, 做资源收敛, 避免相同请求同时回源, 减少源站压力
第二, 离边缘节点接近, 在边缘节点没命中的时候, 能够更快的从二级节点获取到数据
第三, 提供更大的存储空间, 提高命中
同时, 阿里云对于整个播放过程, 进行一些用户体验相关的数据打点, 通过这些数据来进行分析, 得到了一些优化点
第一就是播放器
播放器是否优化决定了终端用户的观看质量首先, 我们对播放器 SDK 做了相关优化, 比如, 通过减少首次缓冲时间, 可以设置在受到视频第一个 P 帧就开始解码播放; 提供动态缓存大小, 当出现网络抖动的时候, 可以动态增加缓存大小, 对数据进行预加载, 通过这种方式来降低卡顿率; 针对播放错误, 播放器 SDK 实现了网络重试机制, 来提供播放成功率
第二个优化是针对调度系统
用户在访问边缘节点的时候, 访问调度服务器, 调度服务器返回的 IP 地址是不是最优的网络链路, 这个很大程度上影响用户对于视频的下载速度阿里云自研了智能调度系统, 可以选择用户到边缘节点的最优链路, 来反馈给客户端
第三是阿里云提供非常多的网络节点覆盖
能够让边缘节点距离用户更近, 来提升用户访问速度
第四个优化点是协议栈优化
在用户向 CDN 服务器获取数据时, 当出现网络抖动的时候, 会有下载速度降低情况产生, 阿里云 CDN 针对 TCP 协议栈进行优化, 通过更高效的协议栈算法来提升下载速度
第五个优化点是窄带高清
开发者可以使用阿里云提供的窄带高清功能, 来降低播放视频的带宽
第六是缓存服务器优化
用户在访问边缘节点的时候, 如果请求在边缘节点 MISS 会直接回源, 响应时间变慢, 而如果边缘节点命中, 用户的下载的速度就和边缘节点缓存服务器的性能具有强关联性了, 阿里云针对缓存服务器的性能做了很多优化, 通过加大边缘服务器的空间和智能优化, 来提升访问速率
第七是全链路监控
阿里云也支持全链路监控, 来提早发现问题, 针对性优化, 确保稳定服务
智能调度系统优化
这里详细介绍一下智能调度的优化, 针对调度系统, 阿里云做了五个方面的优化
第一个是精准的 IP 数据库会持续更新
基于第三方 IP 库数据 whois 平台和淘宝手机用户在访问数据时的一些经纬度信息, 会对 IP 库进行主动探测, 基于这些维度的数据, 进行计算和生成 IP 库数据的准确性会对调度系统提供数据支撑
第二个是提供 HTTPDNS 服务
用户通过 localdns 请求调度服务器, 会遇到第一个问题是: localdns 和用户 ip 位置有不匹配问题, 会出现基于 localdns 调度时, 调度系统看到的客户端 ip 和用户真实 ip 不一致, 导致调度不准确第二个问题是: 用户查询 dns 服务器时, 在查询过程中会出现 dns 结果被串改的情况
通过 httpdns 服务, 可以解决由于 localdns 和 ip 地址不匹配问题, 同时也可以做到 dns 结果防串改, 使调度更精准
播放器基于 httpdns 对 dns 查询做预加载, 并对结果做缓存, 减少 dns 查询查询带来的首屏时间慢
第三点是基于用户体验的自动化调度
会基于用户的客户端 IP 以及用户到每个节点的网络情况当前各个节点的状态, 来进行计算, 通过一些机器学习的方式, 来预测用户到哪个节点的网络链路为最优这样就确保给用户 IP 地址返回最优的网络链路
第四个是大数据分析, 选择最优节点
通过当前节点覆盖情况和用户访问流量趋势, 进行数据预测, 去选择在哪里建点, 并且去计算这些节点覆盖哪些用户的网络质量是最优的, 为调度系统提供数据支撑
最后一点是基于内容调度, 提高命中率
通过 302 做内容粒度的调度, 把相同 URL 调度到同一台机器上, 提高命中率
缓存性能优化
阿里云 CDN 针对缓存系统也做了很多优化
通过自研的缓存系统, 开发基于裸盘的缓存系统使用内存 SSDSATA 三级缓存架构, 把最热的资源存储到内存中, 次热的资源存储在 SSD 中, 冷的资源存储在 SATA 中, 并且通过热点迁移的方式, 把 SATA 中热的资源迁移到内存和 SSD 中, 再通过淘汰算法, 把内存和 SSD 中的冷的资源淘汰到 SATA 盘中通过这种方式, 提供内存和 SSD 的命中率, 降低 SATA 盘的 IO 读写情况, 来存储更多的冷资源, 提高边缘节点利用率
同时, 自研的文件系统对 IO 操作做了很多优化, 比如说合并 IP 对齐写入功能, 避免内存碎片和磁盘碎片带来的 IO 性能严重下降对大文件进行切片存储, 分片存储到不同磁盘中, 避免因单个视频文件过热导致磁盘性能下降
通过以上的优化措施, 缓存的平均命中率在 95% 以上, 首字节时间平均低于 10ms
基于用户体验的 TCP 协议栈优化
第一个优化点是基于时间序的丢包发现机制, 主要是在 TCP 协议栈里去分析 TCP 发包的时间序列, 然后能够识别出哪些包丢掉了, 快速发现丢包和快速重传
第二个优化点是主动丢包发现机制, 是指我们在发现包的时候去主动探测, 避免通过超时来发现丢包, 减少丢包发现的时间, 提高进行重传
第三个是自适应的初始化窗口, 针对不同业务场景使用不同初始化窗口大小
第四个是更激进的拥塞避免算法, 针对网络不好的情况, 在协议栈中识别状态, 使用更激进的发包策略, 解决下载速度慢的问题
第五个优化点是使用更小的链接超时时间, 来更早的发现丢包
基于以上的优化, 我们使用第三方检测平台, 对某短视频业务 1.2M 文件, 和其他 CDN 厂商做性能对比测试, 相同文件大小从内容下载时间上看, 使用阿里云 CDN 有 2%-6% 的性能提升其余数据也表现优异
欢迎大家来使用阿里云点播服务 CDN 和 OSS 存储, 来搭建短视频应用
来源: https://yq.aliyun.com/articles/573444