摘要: 2017 天猫双 11 再次刷新纪录,这背后是大数据的支撑和阿里云计算的能力的体现。手淘、天猫 APP 主站的所有图片和视频都存储在阿里云对象存储 OSS 之上,全球数以亿计的消费者,对这些商品的访问的流量和并发次数,比成交笔数高得高。
2017 天猫双 11 全球狂欢节,全天成交额再次刷新纪录达到 1682 亿元,全天支付总笔数达到 14.8 亿,全天物流订单达 8.12 亿,全球 225 个国家和地区的消费者参加。新零售能量全面爆发,全球超 100 万商家线上、线下打通,近 10 万智慧门店、超 50 万零售小店参与 "全球共振"。
这背后是大数据的支撑和阿里云计算的能力的体现。手淘、天猫 APP 主站的所有图片和视频都存储在阿里云对象存储 OSS 之上,全球数以亿计的消费者,对这些商品的访问的流量和并发次数,比成交笔数高得高。正是阿里云存储多年技术积累的整个链路低延迟和高稳定性,支撑天猫双 11 的流畅体验。
阿里云存储有着最丰富的存储产品,从前期技术平台构建、当天全球狂欢节支撑、后期数据沉淀分析,全面支撑双 11,为客户带来更个性、更流畅、更丰富的体验。
2017 年天猫双 11 全球狂欢节,超过 14 万个明显品牌,1500 万种商品参加。同时,全球超 100 万商家线上、线下打通,近 10 万智慧门店、超 50 万零售小店,参与新零售新形态购物狂欢。在购物交互上,双 11 采用 VR/AR、视频直播点播等丰富的新形式。
2017 年天猫双 11, 所有商品的详情页、商品展示和评论图片和视频、VR/AR 活动页图片视频素材,100% 地存储在 OSS 上。而这些海量的网页、图片、视频,吸引了全球消费的访问。
OSS 的全称是 Object Storage Service, 提供简单的网络访问接口(RESTful API),可以随时从网络上的任何位置,任何时间,来读写任意数量的数据。同时 OSS 是一个全托管的服务,提供安全、容量和性能的扩展性,容灾等服务能力,使得用户可以聚焦在自己的应用逻辑上面。
OSS 支撑了 2017 天猫双 11,来自全世界各地超过 225 个国家和地区的消费者,通过各种终端、各种操作系统、各种运营商网络,查看其心仪的商品图片和视频、参与双 11 的互动。
OSS 面向互联网设计,与访问终端、平台无关,天生适合互联网应用。互联网上的设备,云上的服务器,web 浏览器以及分散在世界各地的 CDN 节点都可以通过 OSS 对外的 HTTP/HTTPS 的访问接口来写入,读取和操作自己的数据。
OSS 凭借面向互联网的访问便利性、稳定可靠的存储服务,已经应用在国内外主流互联网应用,如互动直播、在线视频、电商 APP、游戏应用、基因计算等。而新浪微博,映客,亿方云,华大基因,安诺优达,努比亚手机等知名企业也纷纷采用阿里云 OSS 作为数据的存储。
OSS 支持 EB 级别容量和万亿级别文件数的线性扩展能力,支持日益增大的数据存储空间和数量的需求。EB 级的容量,形象一点就是一部高清电影大概是 5GB,那么 1EB 就相当于是两亿部电影。万亿级别文件数的线性扩展能力,这就超越了传统情况下大家对于文件系统的认识,并且文件访问的性能不会因为文件数量的增加而产生任何影响。
天猫双 11 数千万商品的网页、图片、视频等数据存储,要求存储空间、文件数量要求非常大。而除了这些产品,淘宝、天猫其他所有商品以及主站所有图片、视频的容量、文件数更加庞大,而这些也都是存储在 OSS 上。
今年天猫双 11 交易峰值 32.5 万笔 / 秒,支付峰值 25.6 万笔 / 秒。而存储在 OSS 的商品页面、商品展示、经历的流量和访问次数就比这个数字要高百倍以上了。而这些网页、商品展示和评论的图片、视频都存在 OSS。
阿里云对象存储 OSS 依托高性能的阿里云数据中心网络,软件栈方面的大量优化,提供全球可达的高带宽低延迟的访问。
凭借全球化的产品服务布局,以及 3+N 的多线 BGP 接入能力和稳定出色的系统访问延迟,OSS 受到了像新浪微博,映客,陌陌等大型移动互联网 APP 的青睐,将作为 OSS 源站向全世界提供服务。
电商的交易信息、商家的商品实拍图片等数据,和很多业务系统一样,都需要考虑安全性,进行权限分级管控,并防止盗链、DNS 劫持等,而 OSS 很好地提供了这些问题的解决方案。
OSS 提供丰富和强大的数据安全能力:
双 11 的电商、交易、支付、物流系统的数据,对于可靠性都有非常严苛的要求。而 OSS 基于阿里云存储的技术积累提供至少 10 个 9(11 个 9 如果是多可用区)的可靠性和完整性保障。
盘古文件系统在生产系统中采用跨多可用区部署的方式,经典的模式是支持横跨三个可用区,每个可用区距离 30 公里到 50 公里。无论是三副本还是 EC(纠删码)副本,都是均匀分布在三个可用区内。
任何一次写入都在三个可用区数据落盘后才会返回客户成功。由于各可用区的数据中心有独立的供电,网络和冷却系统等,跨多可用区的存储提供了数据中心级别的容灾能力,在任一可用区完全不服务的情况下,整体服务无缝切换,数据无任何丢失。
跨多可用区对阿里云内部核心骨干网络的要求非常极高,端到端的延迟要求在稳定 1 毫秒以内,并且有 Tb 级别带宽能力。阿里云投入了大量的资源来建设高容错能力和高性能的多可用区互访的内部核心骨干网络。
阿里云对象存储 OSS 不仅是 "存储",依托高性能的阿里云数据中心网络,以及丰富的与开源计算系统和阿里云自研的计算系统的集成,提供了方便,简单,和经济划算的数据分析和加工能力。
- OSS 是中国第一家也是唯一一家被官方 Hadoop 社区接纳为缺省的对象存储文件系统;意味着全球所有的 Hadoop 生态的离线、交互、数据仓库、深度学习等程序在不需要改代码的情况下,自由读写 OSS 的对象存储。
阿里云不仅投入了大量的资源来建立高带宽低延迟的数据中心物理网络,软件栈方面,我们也进行了大量的优化:QoS 的管理和支持,前后端流量的管理,最小化通信库的软件开销,数据中心网络传输拥塞技术优化等。
通过丰富的计算和分析能力,一流的数据中心网络,以及高性能的数据访问,OSS 系统成为共享的数据湖,一份数据被多种计算系统共享,达到存储与计算解耦的效果,使得资源的利用率最大化。
OSS 与 Hadoop、Alluxio 等开源生态、阿里云的计算产品结合,让数据产生价值。而天猫双 11 机器智能的大规模应用也是一大技术亮点,今年的双 11 成为人类历史上最大规模的人机协同。
大量智能机器人组成的 "新物种" 军团,已经渗透到此次天猫双 11 全球狂欢节的各个角落,从挑选货品、导购推荐、客服、设计海报、巡逻机房到管理仓库…… 它们开始和人类一起,协同完成双 11 的各项任务。
比如,基于阿里云存储 OSS 与阿里云机器学习平台 PAI,搭建的机器学习训练预测平台,可以实现用户购物习惯分析,进行精确地个性化商品推荐,做到 "千人千面",让用户在抢购时更节省时间、体验更好。
不仅如此,在繁荣的多媒体行业的催生下,OSS 在对象存储的基础上,发展了自己的特色 API 能力,通过提供一站式的图片处理功能,RTMP 协议支持,APPEND 追加写入等功能,形成了图片社交解决方案,直播推流解决方案,短视频解决方案,云相册解决方案,让移动互联网 APP 的开发周期大大缩短。
比如利用 OSS 的图片存储与处理方案,存储在 OSS 上双 11 的商品的图片、视频,可方便地进行图片的缩放、加水印,以及将鉴黄等处理。
当业务系统运行多年,会有很多不同 "温度" 的数据。比如天猫双 11 这几年,每天都会产生海量的数据,这些数据根据生命周期、业务形态的不同,温度也不同。有些是经常需要访问分析、有些访问频度较低、有些几乎不访问主要是备份归档。
阿里云对象存储 OSS 提供标准(Standard),低频(IA:Infrequent Access)和归档(Archive)三种存储类型,全面覆盖从热到冷的各种数据存储场景。作为 OSS 的特色:
- 提供了生命周期(Lifecycle)的自动管理,根据用户设置的策略在不同类型之间进行自动转化,节省用户的存储成本和管理成本。
海量结构化和半结构化数据则可以使用表格存储。表格存储在 2011 年开始在阿里巴巴内部使用,为阿里云邮箱、大数据分析 MaxCompute、云 OS 等提供了海量元信息的存储与实时访问,每天承接着数百亿次的 API 调用访问。
2017 年天猫双 11,全天支付总笔数达到 14.8 亿,全天物流订单达 8.12 亿、包括商家客服与买家沟通的即时消息平台,生成大量的数据、并发请求,充分体现了表格存储 TableStore 的高性能和稳定性。
表格存储底层使用了分布式共享存储技术,通过自动分区 Partitioning 机制和特有的自动负载均衡 Load Balance 机制,在数据规模与访问并发上具有极好的扩展性。单表可以在无人工介入的情况下轻松扩展至 PB 级数据量与千万级 QPS 的访问能力,其高并发低延时的特点也使表格存储在 2014 年正式对外商业化之后迅速在社交、金融风控、电商交易、日志监控、物联网等行业获得了大量用户的青睐。
针对不同的应用需求特点,表格存储提供了高性能与容量型两种实例规格。对读写性能敏感的社交、游戏、金融风控等场景可以使用高性能实例,高性能实例采用全 SSD 介质,在保证 3 份数据强一致性的情况下,提供个位数毫秒级的访问延时。而容量型实例则采用特有的混合存储介质,在不降低写性能的情况下提供更具性价比的数据存储及访问成本,适用于日志监控、物联网时序数据存储等对读性能不敏感但对成本较为敏感的业务。
不仅如此,表格存储针对特定的行业应用也推出了一些特有的功能,例如针对社交 IM 场景推出了主键自增列功能,去掉了 IM 系统中对第三方自增 ID 生成器的依赖,简化 IM 系统的架构设计,大大提高了系统的响应并发。
自有的增量 Stream 功能,配合阿里云的函数计算和阿里云流式计算,能够很好地同时满足海量结构化数据的存储与实时计算的需求。与 MaxCompute、ADS 以及 Hive、Spark 的数据打通,也真正兼顾了海量结构化数据的存储与分析的应用场景。
天猫 "双 11" 应用了容器技术,应对业务的实际流量超过预想快速扩容的需求。而在 Docker、HPC 等全新应用的场景下,如何为计算节点提供高可靠,高弹性,高性能,多共享的文件系统已经成为 NAS 领域一个新的挑战和趋势。
而阿里云共享文件存储 NAS,很好地解决了这些挑战。相对于 OSS 在互联网存储上的流行,共享文件存储 NAS 在传统应用转型上云过程中发挥着巨大的作用。阿里云选择通过公共云 NAS 的方式来推动非互联网应用业务升级,数据上云。
与传统的 NAS 不同,阿里云 NAS:
- 既具备了数据高可靠、完整性、完全托管服务,面向容错的设计和按量计费等云存储的特性;
阿里云 NAS 分为性能型和容量型两种:
同时,在 2017 年 5 月的成都云栖大会上,阿里云发布了行业性 NAS Plus。
NAS Plus 针对广电行业并发路数多,顺序写性能要求高的特点,满足制作系统高带宽,低延迟,以及随机读性能要求高的要求,NAS Plus 做了性能上的全链路优化,并且与合作厂商华栖云进行了深度合作,在防火墙技术、Hardlink 跨卷共享、智能拼接以及帧级共享,快速检索等方面做了深度优化。在与企业中高端 NAS 的 PK 中,阿里云的 NAS 系统全面超出。
NAS Plus 不仅仅是针对广电的定制化版本,而是开创了一种模式,与行业的深度整合能够给客户带来数量级上的体验改进。NAS Plus 不仅仅可以用于广电,也可以用于基因、渲染、机器学习等领域,并且能够与行业的使用方法做深度的整合。
在 2017 天猫双 11 创纪录超大规模交易需求轻松应对的背后,阿里巴巴混合部署了在线计算、离线计算以及公共云,构建了全球最大规模的混合云,能实现 1 小时内 10 万台服务器的快速扩容并满足金融级安全保障,支撑双 11 买、卖、付、送各环节在云上的顺利进行,成为天猫双 11 为世界贡献的中国技术方案,更助力推动着中国商业和经济的转型升级。而背后支撑的技术方案中,就有阿里云混合云存储方案。
混合云存储的关键在于连接和传输,阿里云针对连接,易用性和传输在 2017 年连续推出了一系列混合云的产品组合,包括云存储网关,混合云存储阵列,备份服务,容灾恢复服务,和闪电立方数据搬迁服务。
备份和容灾恢复服务是大量企业需求的混合云存储服务。云存储网关和混合云阵列能够帮助数据上云,同时也能够让云上和云下形成灾备机制。
当用户在本地机房有 PB 量级的数据,需要在短时间内进行迁移时,离线数据搬迁能力显得尤为重要,阿里云推出的闪电立方产品,单台一次支持 480TB 的迁移能力,且可横向拓展,利用多台设备可以同时迁移 PB 级别的数据,使得海量数据快速上云成为可能。除了加速数据迁移的速度,整体费用与专线方式对比,也降低 60% 以上。
用云栖社区 APP,舒服~
来源: https://yq.aliyun.com/articles/307727