宝惜 2019-03-13 17:30:40 浏览 364 评论 0
云栖社区
安全
函数
加密
防火墙
集群
容器
弹性伸缩
控制台
金融云
摘要: 基础产品事业部产品技术月刊 2019 年 2 月
关注更多内容, 点击订阅月刊
一, 商用产品技术
TOP1 弹性伸缩推出目标追踪伸缩规则, 让用户使用更精准, 快速, 易用的策略响应业务负载变化
弹性伸缩服务在简单伸缩规则的基础上, 通过与云监控深度合作, 上线了目标追踪伸缩规则. 相比于简单伸缩规则定义较模糊, 调整粒度固定, 调整过程缺少控制等不足之处, 目标追踪伸缩规则重新定义了伸缩组动态调整的使用方式, 用户只需要指定关心的监控指标目标值, 弹性伸缩组基于对监控数据的感知能力自动计算需要调整的扩缩容实例数, 并使用尽量少的调整过程趋近监控指标目标值, 让用户在使用弹性伸缩过程中, 不再操作 "手动空调", 获得 "自动空调" 的轻松体验.
TOP2 OSS 支持使用 BYOK 密钥加密, 并支持设置 Bucket 服务端默认加密方式
OSS 支持使用 BYOK(Bring Your Own Key)自选密钥对数据进行加密, 并已经在 API 和控制台提供相关功能支持. 同时, 为了减少用户的开发和运维成本, 也为了简化用户的学习和使用成本, OSS 支持针对 Bucket 设置服务端加密方式, 用户可以使用阿里云 OSS 默认托管密钥 (SSE-OSS),KMS 默认托管密(SSE-KMS), 以及 BYOK(Bring Your Own Key) 密钥设置 Bucket 服务端加密方式. 具有 KMS 以及 OSS 权限的用户上传文件至指定 Bucket 时, OSS 将使用 Bucket 的默认加密方式针对 Object 进行加密. 用户可以通过控制台, API 等方式设置 Bucket 默认加密方式. 本功能对于海外大 B 客户, 尤其是政府和金融客户是强需求.
TOP3 闪电立方 (在线迁移) 文件存储 NAS 迁移服务发布
闪电立方 (在线迁移) 发布文件存储 NAS 的文件迁移功能. 借助该功能, 用户数据可以在阿里云对象存储 OSS 与阿里云文件存储 NAS 之间相互迁移, 同时支持本地集群文件迁移至文件存储 NAS 或对象存储 OSS, 满足用户灵活自动部署和数据迁移需求.
ECS Redeploy Instance 接口发布, 已开放灰度使用
当 ECS 主机的出现故障隐患时主动运维提前通知客户, 客户可以使用 Redeploy Instance 接口或者控制台链接进行宿主机迁移, 消除潜在的服务不可用隐患.
云盾态势感知发布自动化入侵溯源功能
态势感知自动化入侵溯源基于海量原始日志, 利用大数据分析方法自动识别黑客的每一步行动, 并将信息以可视化图形结构进行关联, 聚合. 用户在排查告警时, 可以通过简单交互即可浏览完整的黑客入侵过程, 快速定位漏洞与入侵原因, 完成事件闭环. 赋能企业自动化安全运营分析能力, 有效降低安全运营成本.
云防火墙为金融云客户提供免费防火墙能力
云防火墙是业界首家支持 SaaS 化部署的防火墙产品, 一键开启即可使用, 统一管控云上公网 lP, 支持失陷 ECS 的发现和主动外联的管控, 并内置 IPS 引擎. 云防火墙完美解决了云市场上传统防火墙需要镜像, 路由, HA 的复杂部署问题, 将成为企业级客户上云的网络安全基础设施.
2 月份, 云防火墙为金融云全量客户部署免费版本, 为金融云客户提供了免费的防火墙能力.
云盾高防发布应用层 DDoS 智能防护模式
长期以来, 用户遭受应用层 DDoS 攻击 (CC 攻击) 后, 需要自己人工调整策略, 或提交工单请安全技术人员协助分析, 配置策略. 在此期间用户网站要忍受较长时间的业务不可用, 且非常消耗人力资源. 高防新推出的智能防护模式, 基于用户历史流量, 训练得到网站各维度流量基线, 攻击发生时, 可在分钟内识别出攻击特征, 并调整策略动态处置拦截攻击流量, 全程无需人工干预, 极大提升了 DDoS 攻击防护效率.
阿里云函数计算 webIDE 新增地域切换与云端一键部署功能
为了优化用户体验, 函数计算 WebIDE 新增地域切换与云端一键部署功能. 在函数计算控制台的工具栏上, 添加 WebIDE 地域切换和一键部署功能按钮, 方便用户进行地域切换以及将本地函数一键部署到云端, 大大简化部署流程.
新开服 Managed K8S 在深圳地区上线
阿里云容器服务 ACK 的 Managed Kubernetes 新增深圳 region.Managed Kubernetes 托管 Kubernetes 管控组件, 降低用户使用 Kubernetes 门槛. Managed Kubernetes 的核心优势: 1 节省资源. 每个集群节省 3 个 master 节点. 2 运维简单. ACK 负责帮助托管 master 集群. 3 安全. ACK 护航满足用户安全需求. ACK 支持托管 Managed Kubernetes 模式, 专有 Dedicated Kubernetes 模式和 Serverless Kubernetes 模式. 关于这三种模式的对比, 可以参考链接: https://help.aliyun.com/document_detail/107720.html
Kubernetes 支持细粒度共享 GPU,ACK 持续优化 GPU 使用体验
阿里云容器服务持续优化深度学习相关开发工具, 除了之前开源的 Arena 深度学习加速器之外, 最近还开源了共享 GPU 调度项目 GPU sharing.
对于 GPU 卡的细粒度调度, 社区中尚无很好的方案, 因为 Kubernetes 仅支持对于 GPU 这类扩展资源的整数粒度定义, 无法支持复杂资源的分配. GPU sharing 支持对单张 GPU 卡内资源细粒度拆分使用, 且有两大特色: 按显存和按卡调度的方式可以在集群内并存; 不做侵入式修改, 任何类型的原生 Kubernetes 业务. 详情: https://yq.aliyun.com/articles/691873
网络板块正式上线阿里云市场
锐捷, 驻云, 鹏博士等第一批合作伙伴已经入驻, 后期将继续招募合作伙伴. 上线网络云市场将补充网络解决方案的完整性, 让客户有更多定制化, 多样化的选择. 合作伙伴包括网络设备商, 网络软件提供商, 网络集成服务商等. 网络板块正式上线阿里云市场, https://market.aliyun.com/networking.
二, 技术项目进展
TOP1 云盾防爬实时防控平台 (Pluton) 上线, 自动化对抗黑产刷票, 降低运营成本, 提高攻击门槛
爬虫风险管理 (Anti-Bot Service) 产品专注于解决爬虫攻击, 爬虫的对抗与传统安全有着非常大的区别, 在协议层面往往看不出太多异常, 更侧重于对业务逻辑的理解和用户行为的关联分析, 且对实时性有着非常高的要求. Pluton 基于马尔科夫链, LSTM 等机器学习模型, 通过对会话序列的实时分析, 在关键业务接口上计算出风险系数, 辅以不同的防控手段, 在对正常用户基本没有打扰的情况下, 精准识别异常刷票会话. 此外, 在黑产通过不断尝试新手法绕过防护时, Pluton 能够迅速自动学习到新的绕过 pattern 并进行惩罚, 极大降低了人工运营的成本, 同时逼迫黑产投入数十倍以上的攻击资源.
TOP2 云盾 Web 应用防火墙 (WAF) 深度解码版本上线, 全面提升检测精度, 领先于业界友商
Web 应用防火墙 (WAF) 深度解码版本上线, 支持多种常见 HTTP 协议数据提交格式全解析: HTTP 任意头, Form 表单, Multipart,JSON,xml; 支持常见编码类型的解码: URL 编码, Java Script Unicode 编码, HEX 编码, HTML 实体编码, Java 序列化编码, base64 编码, UTF-7 编码; 支持预处理机制: 空格压缩, 注释删减, 向上层多种检测引擎提供更为精细, 准确的数据源.
此版本主要特征包括: 在准确性上, 优化引擎解析 HTTP 协议能力, 支持复杂格式数据环境下的检测能力; 抽象复杂格式数据中用户可控部分, 降低上层检测逻辑的复杂度, 避免过多检测数据导致的误报, 降低多倍的误报率; 在全面性上, 支持多种形式数据编码的自适应解码, 避免利用各种编码形式的绕过.
TOP3 VPC 公网 Anycast 全链路打通, 提供更高质量公网服务
阿里云网络产品团队 VPC XGW 和 AIS 物理网络团队实施海外 Anycast 调度测试完成, 在 4 个海外 POP 点实现了 Anycast 调度优化. 以 FY19 在 4 个 POP 点的部署条件, 全球各主要地区访问 Anycast 的 POP 入口, 经 Anycast 调度优化后, 与理论完美目标的匹配度提高很快, 并会随着 POP 点内 Anycast-XGW 部署铺开而相应地进一步优化. Anycast 的一大优点是就近接入, 多走内部专线, 少走互联网, 从而提高稳定性和优化部分地区跨国访问. 最直接有效的优化方法是让全球主要地区访问 Anycast 网段的实际入口 POP 点, 尽量贴近我们就近接入的目标 POP 点.
云盾安骑士 Webshell 词法检测引擎全面上线, 相比正则引擎检出能力提升较大
webshell 是服务器主要安全风险之一, 攻击者通过漏洞入侵服务器后植入 webshell 后门达到长期控制服务器的目的, 包括指令执行, 文件管理, 发起网络连接, 窃取数据等行为. 在检测上由于 Web 语言灵活容易变形, 加密, 混淆导致检测难度大. 安骑士新发布的词法引擎基于语义分析形式, 对 PHP,jsp,asp 不同语言进行动态解析还原出语义, 函数, 变量, 字符串, 语言结构, 对解码后的明文进行特征分析发现恶意代码, 彻底解决变形 webshell 检测能力不足问题.
容器服务 ACK 提供 Knative Addon 支持
在 Istio 基础之上, 容器服务 ACK 为用户提供 Knative 支持, 可以快速轻松地将 Knative 部署到 Kubernetes 集群中, 为用户提供了一种新的创新方式来部署和管理他们的 Kubernetes 托管应用程序.(更多详情: https://yq.aliyun.com/articles/689208)容器服务应用目录发布 Knative Addon.
虚拟网络可视化技术预研成功
长期以来, 数据中心网络容量状况, 可用性, 转发性能对于云业务来说处于近乎黑盒的状态, 阿里云网络洛神系统联合 AIS 网络团队进行了虚拟网络质量可视化技术预研, 本月取得阶段性成果: 虚拟网络质量可视化系统通过 vtrace 对租户流量进行染色, 采用带内 Telemetry 的方式, 获得租户数据包在阿里云虚拟及物理基础设施上的转发路径, 时延及队列水位状况, 对于主动丢包场景, 能进行自动流量镜像分析丢包原因及相应租户标识. 该方案采用的是芯片层面技术, 数据精确且业务性能无损, 大幅提升网络端到端诊断能力. 同时, 这次技术合作还将通过对 dc 内全路径流量水位采集给出流量热图, 以此分析调整优化业务部署及物理架构演进方向.
三, 学术, 科研, 技术成果
TOP1 AIR 项目使用 CNN 机器学习方法预测内存宕机项目论文被 DAC-2019 学术会议接收
AIR 高校合作项目中, 在与杜克昆山大学合作中的 System Level Hardware Failure Prediction using Deep Learning 的论文被 DAC(Design Automation Conference)会议接收. 通过 Blink 实时流计算平台, 已经在 Blink 平台上完成了内存故障预测模型的搭建, 并打通数据反馈路径并将预测宕机的相关结果回流到阿里云日志服务 (SLS) 的日志中. 后续计划和 ECS 的调度系统打通, 增加系统中宕机风险的紧急性字段, 从而推送对于的预测宕机告警通知和完成调度中的规避.
TOP2 AIR 项目基于图理论和机器学习方法的资源调度项目论文被 IPDPS-2019 学术会议接收
AIR 高校合作项目中, 与中科院软件所合作的论文 "Aladdin: Optimized Maximum Flow Management for Shared Production Clusters" 论文被 IPDPS'19(International Parellel and Distributed Processing Symposium)会议接收, 预计在 2019 年 5 月正式发表. 该论文来自中科院软件所与容器平台的合作项目, 深入研究了图模型在资源调度管理问题中的应用潜力, 基于最大流算法建模和求解多维度非线性约束下的容量规划问题, 并使用阿里巴巴建站场景数据对进行了评估. 该研究受到 2016 年 OSDI 中 Firmament 论文使用图理论表达和求解资源调度问题的启发, 对图理论与资源管理相结合这一新领域进行了充分的探索.
TOP3 3 篇网络议题入选 Open Network Summit 2019
Linux 基金会主办的网络顶级会议 Open Network Summit 2019 将于四月初在加州圣何塞召开, 阿里云智能的 3 个技术议题入选, 分别为 "Open hybrid cloud network architecture based on SDWAN", "3rd Party VNF Deployment in the Public Cloud" 和 "AI Ops - A Big Data and Machine Learning Practice in IT Ops from Alibaba Cloud". 除此之外, 将在大会上发表主题演讲 "Innovation of the Network Infrastructure at Alibaba".
关注更多, 订阅月刊: 戳我
来源: https://yq.aliyun.com/articles/693522