宝惜 2019-05-10 20:40:12 浏览 387 评论 1
云栖社区
深度学习
安全
架构
监控
消息队列
Cloud
云服务器
高可用
spring
集群
容器
网络产品
容灾
GPU
摘要: 阿里云基础产品技术月刊 2019 年 4 月, 阿里云 2018 年建成国内首家 IPv6 DDoS 防御系统, 提供 IPv4+IPv6 海量 IP 下的双栈 DDoS 秒级自动防护, 为 IPv6 网络下的业务保驾护航. 经过 4 个月申报答辩, 成功入选工信部试点示范项目, 工信部是国家 IPv6 总牵头政府部门, 此次入选代表工信部的高度认可.
一, 商用产品技术
TOP 1 4 月 10 日, 创新产品团队举办网络直播 vGN5i 新产品发布会
本次发布会请到两位客户嘉宾, 以新颖的 demo 方式和科技对话吸引了大量对云游戏和虚拟 VR 的有兴趣的客户. 轻量级 GPU 云服务器是一种新的 GPU 云服务器规格族, 是通过公共云的 GPU 虚拟化技术将分片虚拟化后的 GPU 资源以虚拟 GPU 的形式安装在 GPU 云服务器实例中. 与常规 GPU 云服务器的区别在轻量级 GPU 云服务器提供更细力度的 GPU 计算资源, 比如拥有更少的 CUDA 计算核心, 更小的显存. 这样做的优势是在业务应用中, 业务可以根据资源所需更加灵活地配置 GPU 计算资源.
TOP 2 阿里云应用高可用服务 AHAS 发布重大新特性, 实现容器架构可视化
采用容器服务后, 了解容器之间的关系及依赖是一个比较有挑战的问题. 容器化改造后的实际架构模型可能与预想的架构存在较大的差异, 架构师或系统运维人员需要精确地了解资源实例的构成和交互情况, 存在一定的困难. 其次, 系统架构在动态演化过程中可能引入了一些不可靠的因素, 比如弱依赖变强依赖, 局部容量不足, 系统耦合过重等, 给系统的稳定性带了极大的安全隐患. 阿里云应用高可用服务 AHAS 发布重大特性, 推出阿里云容器服务架构可视化功能, 帮助用户识别容器服务架构.
详情: https://yq.aliyun.com/articles/698434
TOP 3 SAG(Smart Access Gateway)软件版本正式上线, 开启网络产品被集成之路
SAG 软件版本正式上线, 开启网络产品被集成之路, 一期支持 Android,Windows 功能版本. SAG 软件端是网络产品团队在端和管上的进一步布局, 目标是打开一个海量的小微市场. 首批客户除了创维外, 还有用友畅捷通, 泛微等 ISV, 这些 ISV 都在一些垂直领域有着海量的客户.
文件存储 HDFS 新增云监控报警功能, 火热公测中
HDFS 是阿里云最新推出的全球首个云原生 HDFS 存储服务, 它提供弹性可扩展, 高可靠和高可用等云原生特性, 为数据分析业务在云上提供可线性扩展的吞吐能力和免运维的快速弹性伸缩能力, 降低用户 TCO, 广泛适用于大数据计算与存储分析需求的互联网, 金融等行业客户.
4 月, HDFS 新增云监控报警功能, 用户可以按照业务自身需求的阈值配置云监控报警功能, 避免异常情况下多写出来很多无效数据, 造成不必要的成本增加. 目前, 文件存储 HDFS 已实现持多种报警方式, 如邮件, 钉钉, 短信, 电话, API 回调等.
对象存储 OSS Select 支持 JSON 格式文件
OSS Select 新增 JSON 格式文件的支持. 用户可以直接使用 SQL 语句, 从 OSS 的 JSON 文件中, 选取所需要的内容, 而不必读取整个文件的内容. 企业级用户使用 OSS Select, 可将查询条件下推到 OSS, 由 OSS 进行基本的过滤, 提高应用效率, 更好地发挥数据的价值.
该功能有如下特点:
. 支持 DOCUMENT 和 LINES 两种 JSON 文件 ;
. 使用 SQL 语句, 选取 CSV,JSON 文件的所需要的内容, 为数据处理加速;
. 支持分片查询机制;
混合云容灾服务 - 关键业务型 (BCDR) 支持回切到 VMWare
3 月底, 混合云容灾服务 - 关键业务型 (BCDR) 正式推出了 Failback 到 VMWare 的支持, 为 VMWare 用户提供了完整的高性能, 低成本的云容灾闭环方案. 通过 BCDR, 可实现 vSphere 虚拟机一键容灾上云和回切, 支持一般 vSphere 集群, VSAN 超融合集群等不同的部署形式, 目前可实现全面支持 5.5 以上版本.
云存储网关支持 MIME 文件类型自动识别
云存储网关支持根据文件名识别 MIME 文件类型, 并自动添加上传至对象存储 OSS 时, 在对象的元数据中添加对应的 MIME 类型. 借助该功能, 用户可以通过云存储网关上传各种 MIME 支持的对象并自动标注, 方便用户批量快速自动刷新在线对象数据信息, 增强用户体验.
阿里云函数计算正式支持 C# 语言开发环境
函数计算作为新兴的事件驱动 Serverless 服务正受到越来越多开发者的欢迎, 之前已支持 Java, Python, Node.JS, PHP 四种语言开发环境. 4 月, 函数计算正式支持 C# 语言开发环境, 其提供同步 / 异步调用函数接口, 用户通过编写 C# 代码可以实现各种自定义的功能需求.
. 利用 http 触发器实现 ASP.NET core webApi/webApp 开发, 快速开发 restful Web API 和 Serverless Web App ;
. 配合函数计算定时器功能, 定时执行脚本任务实现运维的自动化;
. 通过丰富的事件源(如 OSS,SLS 等) 触发函数执行, 比如上传一个图片到对象存储 OSS 上实现自动添加水印的效果;
阿里云表格存储 Tablestore 全新开源时序模型发布
表格存储 Tablestore 作为阿里云自研的 NoSQL 多模型数据库, 能够提供海量结构化数据存储以及快速的查询和分析服务. 为了帮助用户能够更加专注于业务开发, 表格存储全新发布 Timestream 时序模型, 适用于监控, 金融, 轨迹溯源等时序业务场景. 其通过组合云产品的方式, 提供完整的时序场景所需的所有功能, 且各组件可以替换成其他同类云产品, 灵活部署. 相比开源时序数据库, 具备全托管, 元数据检索, 冷热数据分层和灵活计算分析能力的强大优势.
消息队列 RocketMQ 全新升级
消息队列 RocketMQ 发布消息路由三地互同步特性, 支持国际化消息双向互通场景; 消息队列 AMQP 发布 8 种多语言 SDK 支持, 完成主流编程语言覆盖.
消息队列 Kafka 发布 1.1.0, 完善控制台基础功能
消息队列 Kafka 控制台基础功能完善, 主要包括: 安全白名单, 分区定制, 在线消费者状态, 消息查询, 小版本自助升级等, 全面对齐主流开源控制台的绝大部分功能, 增强云上 Kafka 的用户体验和黏性.
EDAS 发布全新版本, 支持 K8s 应用分批发布等
新版本重要功能包括 K8s 应用分批发布, 多应用 SLB 复用, Serverless 应用一键启停, 上线全新的 SchedulerX 2.0 等. 此外, 全链路灰度完成 Tengine-Ingress 开发和 Ingress + UFE Lua + Nginx 的联调, 灰度路由符合预期. 而支持 Spring Cloud 的方案也已经完成了 POC. 全链路灰度将是 EDAS 很重要的差异化能力.
应用实时监控服务 ARMS 发布新版本, 支持 Prometheus 监控等
新版本重要功能包括 新应用接入流程优化, 按多语言 / 多方式 / 多环境统一接入体验, 取消一元套餐计费并增加 15 天免费试用版本, 支持 Prometheus 监控, 支持混合云场景下的 ARMS 应用接入. 目前, 已有客户通过 gateway 组件完成专有云应用到公有云 ARMS 环境的接入.
性能测试 PTS 发布新版本, 上线 SLA 和定时压测功能
性能测试 PTS 发布新版本压测过程中, 通过监控核心服务状态的 SLA 指标数据, 可以更直观地了解压测业务的状态. 除此之外, 也可以自定义符合业务需要的 SLA 规则, 应用到特定的压测场景中.
云盾 Web 应用防火墙 (WAF) 防自动化工具攻击版本上线
Web 应用防火墙 (WAF) 防自动化工具攻击版本上线, 支持基于扫描攻击行为识别, 支持用户自定义扫描行为规则, 内置扫描器特征威胁情报, 全网 Web 攻击 IP 情报, 做到全网用户协同防御. 每日为 WAF 用户 3000 + 域名拦截 90% 以上的自动化攻击流量, 帮助用户解决了扫描器流量透过, 做到扫描时源站负载几乎无感知.
Web 应用防火墙(WAF) 深度学习引擎 2.0 上线
基于阿里云海量的数据源结合卷积神经网络对样本进行分类训练, 再通过生成的模型对攻击特征进行预测和识别, 深度学习引擎可以对 0day 特征进行识别和发现, 弥补了通过传统专家经验更新规则滞后的弱点; 同时对弱特征的异常行为识别精准, 弥补了传统正则规则描述性弱的缺陷. 相比传统的正则规则引擎的检测能力有了明显提升, 其中召回率提升了 20%, 在召回的请求中准确率达到 99.5%. 目前已覆盖线上 1900 + 域名的检测和防护, 每天对传统正则引擎的补充检出量超过 65000 条.
此版本主要包括: 对 HTTP 的 request header,request uri,request body 深度监测, 支持告警和拦截模式. 通过在线模型进行实时的检查拦截方式处在业界领先的地位.
阿里云容器服务 Kubernetes 1.12.6 版本一键升级功能开放
此前, 阿里云容器服务已经支持 1.12.6 版本的新集群创建, 现在用户可以将老版本一键升级. 1.12.6 版本有众多新功能, 其中亮点是: scheduler 调度优化, 大幅提升亲和反亲和的性能, 例如在大型集群中调度程序吞吐量提高了约 50%; 支持具有自定义指标的水平 pod 自动伸缩器, 可以根据监控管道中的可用标签选择指标.
阿里云 Kubernetes(ACK)服务托管版支持日志审计, 为安全护航; 专有版新增 master 节点实例保护
Kubernetes 中 Audit 事件日志可以用于平台安全监控和审计分析, 以确保 IT 设施 / 系统是可靠, 安全, 未泄漏的. 通过审计可以知道系统在任一时间段内发生的事件以及对应关联的内外部人员, 系统, 在损失发生后能够立即知道具体是谁, 在哪个时间对系统做了什么事, 同时基于审计事件的实时分析和告警, 能够提前发现问题并及时止损. 例如 APIServer 的审计 (Audit) 日志, 安全同学会用来做入侵检测, 账号操作审计等, 运维同学会基于审计日志做变更管理, 核心组件监控, 节点监控等, 开发同学会使用审计日志检查变更是否生效. 更多可以参见 《最全 Kubernetes 审计日志方案》(https://yq.aliyun.com/articles/686982). ACK 专有版新增 master 节点保护, 防止 master 节点在控制台或通过 API 方式误删, 以保护客户集群.
阿里云 Serverless K8S 支持 GPU 容器实例
ACK Serverless 版支持 GPU 容器实例, 用户无需购买 GPU 服务器和安装驱动即可快速使用 GPU 容器实例, 更便捷地运行各类深度学习 AI 应用, 详情可参考: https://help.aliyun.com/document_detail/114581.html. 对于 AI 工程, 基于阿里云打造云原生 AI 系统可以在四个维度上为提效: 优化异构资源调度; 弹性, 高效, 细粒度(支持 GPU 共享); 简化异构资源管理复杂性, 提升可观测性和使用效率; 可移植, 可组装, 可重现的 AI 流程.
阿里云镜像服务企业版开服北京区域
阿里云容器镜像服务企业版源自双十一沉淀. 阿里云镜像服务企业版, 具备更强的安全及镜像分发能力, 适合安全需求较高且拥有大规模节点的企业级客户. 比如, 对于 4 月 25 日 Docker Hub 遭入侵, 19 万账号被泄露事件; 如果用户选用了阿里云镜像服务企业版, 就可以最大程度保障镜像仓库安全, 可以享受网络访问控制, 独享 OSS Bucket 加密存储等安全加固功能, 最大程度保障您的镜像仓库的安全. 详情可以移步: https://promotion.aliyun.com/ntms/act/acree.html
阿里云容器服务 Istio 升级 1.1, 应用管理功能开放
阿里云容器服务 Kubernetes 基于 Istio 最新版本 1.1.4 提供了服务治理能力, 对应用服务提供多版本管理, 灵活的流量治理策略, 以支持多种灰度发布场景. 一键开启应用服务网格后即可使用非侵入的智能流量治理解决方案, 包括负载均衡算法设置, 会话保持, 连接池管理, 熔断配置和故障注入等多种治理能力.
启用混合 Istio 的一种方法是配置一个远程 Kubernetes 集群, 该集群连接到一个集中运行的 Istio 控制平面. 这种方式常用于以下场景: 通过测试集群可以使用新的功能并使其过渡到生产集群; 准备处理故障转移的备用集群, 或跨地域或可用区的冗余集群. 阿里云容器服务 Kubernetes 提供了一个简易部署多集群 Istio 的 Operator, 已支持在网络互通情况下多集群共享一个 Istio 控制平面的拓扑结构.
弹性伸缩新增预测型伸缩规则
预测型伸缩规则是一种新增的伸缩规则类型, 可以利用机器学习的能力, 通过分析伸缩组监控数据的历史值, 预测未来伸缩组的监控指标值, 实现智能配置伸缩组边界值的目的.
弹性网卡支持私网多 IP 全网开放
在弹性网卡支持私网多 IP 白名单上线之后, ECS 管控团队在性能及稳定性方面做了大量的压测和优化, 最终达到全网开放的标准, 于 4.28 日全网开放.
预留实例券 API 开放
预留实例券是一种抵扣券, 可以提供按量实例账单抵扣及容量预留. 相比预付费实例, 预留实例券与按量付费实例这种组合模式可以兼顾灵活性和成本同时比标准月价格更优惠. 目前 Reserved Instance 已全网开放邀测. 本月开放预留实例券的 API, 用户可以官网下载最新的 sdk, 通过 sdk 创建, 变配, 查询 RI 资源.
Aliyun Packer Builder 1.4.0
来源: https://yq.aliyun.com/articles/702064