缘督 2019-03-07 16:40:22 浏览 152 评论 0
OSS
阿里技术协会
集群
数据迁移
按量付费
aliyun
解决方案
高性能
带宽
存储
摘要: ## 前言 高性能计算 (HPC) 涉及计算, 存储, 网络等多个组成部分, 存储是 HPC 整体解决方案里的重要部分, 在很多应用领域, 存储的性能是关键的因素. 阿里云弹性高性能计算 (E-HPC) 集成阿里云上的多种存储服务 NAS/CPFS/OSS, 给用户提供高性能的存储方案. 在多个用户使用 E-HPC 的过程中, 都会涉及到数据迁移: - 数据上云: 在 E-HPC 上提交计算任务之前, 需要将本地数据上传到云上存储, 不同
前言
高性能计算 (HPC) 涉及计算, 存储, 网络等多个组成部分, 存储是 HPC 整体解决方案里的重要部分, 在很多应用领域, 存储的性能是关键的因素. 阿里云弹性高性能计算 (E-HPC) 集成阿里云上的多种存储服务 NAS/CPFS/OSS, 给用户提供高性能的存储方案. 在多个用户使用 E-HPC 的过程中, 都会涉及到数据迁移:
数据上云: 在 E-HPC 上提交计算任务之前, 需要将本地数据上传到云上存储, 不同应用领域数据量差别很大, 从几百 MB 到几十 TB 不等, 例如仿真算例从几百 MB 到几个 GB,EDA 领域数据量一般都在几个 TB 到几十 TB, 生物基因客户的输入文件也是非常大的.
云上数据保存: 在 E-HPC 计算完毕之后, 计算资源释放, 数据需要保留一段时间, 有些需要数据长期保存在云上
数据下载到本地: 部分客户是弹性使用云上资源, 计算完毕, 云上所有资源都会释放, 计算结果文件就需要下载到本地
这里总结一下 E-HPC 用户常用的数据迁移和数据保存方案以及一些注意事项:
首先用户需要明确知道的是, 数据存储在云上, 无论是 NAS 还是 OSS, 数据不会被自动释放的, 用户迁移完毕之后, 需要及时将不需要的存储释放.
数据上云
用户可以通过多种方式将数据迁移到云上:
闪电立方: 提供在线迁移和离线迁移方案
在线迁移任务: 支持 OSS 之间, NAS 之间或 NAS 到 OSS 迁移数据; 也支持从其他云服务迁移数据到阿里云
离线迁移方案
目前支持 3 种类型的设备:
闪电立方 - Mini: 适用 40TB 数据量的迁移
闪电立方 - II: 适用 100TB 数据量的迁移
闪电立方 - III: 适用 480TB 及其以上的数据量迁移
离线方案适合数据量特别大的场景, 另外闪电立方数据是全程加密的, 传输到闪电立方的所有数据均采用由客户管理的 256 位加密密钥.
闪电立方的具体定价和操作流程参见官网 https://cn.aliyun.com/product/mgw
本地直接上传
从本地上传到 OSS, 传输速度主要受限于本地的网络带宽. 如果用户已经和阿里云建立了专线(物理专线或者 VPN 通道), 也可以通过专线上传.
OSS 提供了多种工具, 图形化工具 ossbrowser, 命令行工具 ossutil 等, 参见 https://help.aliyun.com/document_detail/44075.html
上传到 OSS 之后, 在 E-HPC 集群上的任意节点, 都可以使用 ossutil 将数据从 OSS 下载到 NAS, 也可以在多台节点上并发下载. E-HPC 集群默认已经包含 ossutil 在 / opt 目录下. 注意使用 OSS 内网域名, 参见 OSS 访问域名使用规则, 内网产生的流入和流出流量均免费, 但是请求次数仍会计费.
从本地上传到 NAS, 用户本地通过 sftp 上传到集群登录节点, 登录节点上已经挂载 NAS 文件系统. 参见 E-HPC 节点 NAS 挂载目录规则, 这种方案受限于用户本地的网络带宽和登录节点上绑定的公网 IP 的带宽设置
云上数据保存
NAS 预付费存储包
对于高频访问的数据, 需要在集群计算中高频访问到的, 可以放在 NAS 中.
NAS 提供通用型和并行文件系统 CPFS(Cloud Paralled File System) 两种存储类型. 通用型分为容量型和 SSD 性能型, 具体适用场景和定价参见 NAS 概述
很多用户采用预付费存储包 + 按量付费的模式, 例如预期数据大小在 5TB-8TB 之间, 可以购买 5TB 的预付费存储包, 高于 5TB 的部分, 就使用按量付费, 如果实际使用中, 使用了 6TB, 那么只会有 1TB 的按量付费.
OSS 存储
在 E-HPC 集群计算完毕之后, 可以将数据从 NAS 迁移到 OSS 中, OSS 支持三种存储类型
标准存储: 提供高可靠, 高可用, 高性能的对象存储服务, 能够支持频繁的数据访问
低频存储: 适合长期保存不经常访问的数据(平均每月访问频率 1 到 2 次)
归档存储: 适合需要长期保存 (建议半年以上) 的归档数据,
重点注意事项是:
低频访问存储类型的 Object 有最短存储时间, 存储时间短于 30 天的 Object 提前被删除会产生一定费用
归档存储类型的 Object 有最短存储时间, 存储时间短于 60 天的 Object 提前删除会产生一定费用
归档存储下载数据的时候, 需要收取数据取回 (解冻) 的费用, 具体见下一章节说明和 OSS 官方文档
参见 OSS 计量计费规则
数据从 NAS 上传到 OSS 之后, 如果 NAS 中的数据无需再保存的话, 用户需要主动将数据从 NAS 中删除, 或者删除 NAS 文件系统, 注意 NAS 存储包到期之后, 会自动转按量付费.
OSS 数据下载到本地
如果用户已经和阿里云建立了专线, 可以通过专线, 使用 OSS 内网域名
OSS 服务费由存储费用, 流量费用, 请求费用, 数据处理费用几部分组成
归档存储下载的时候, 需要收取数据取回 (解冻) 的费用, 因此用户选择存储类型的时候, 需要考虑这个因素
请求费用与下载的文件数量有关, 一个文件会触发一次请求
流量可以购买下行流量包或者按流量付费, 用户可以根据数据量大小来评估适合的方案
如果从 oss 归档存储下载的话, 需要先用 ossutil 批量解冻, 参见批量解冻,
然后再用 ossutil 或者 ossbrowser 批量下载
另外参见 RestoreObject, 解冻状态默认持续 24 小时, 24 小时内再次调用 RestoreObject 接口则解冻状态会自动延长 24 小时, 最多可延长 7 天.
如果用户下载数据大于 1 天的话, 用户需要在数据解冻状态下多次执行 ossutil 批量解冻命令
如果您发现本社区中有涉嫌抄袭的内容, 欢迎发送邮件至: yqgroup@service.aliyun.com 进行举报, 并提供相关证据, 一经查实, 本社区将立刻删除涉嫌侵权内容.
[云栖快讯] 云栖专辑 | 阿里开发者们的 20 个感悟, 一通百通 详情请点击
来源: https://yq.aliyun.com/articles/692757