云计算的六大相关技术
云计算是一种新型的业务交付模式, 同时也是新型的 IT 基础设施管理方法. 通过新型的业务交付模式, 用户将通过网络充分利用优化的硬件, 软件和网络资源, 并以此为基础提供创新的业务服务. 新型的 IT 基础设施管理方法让 IT 部门可以把海量资源作为一个统一的大资源进行管理, 支持 IT 部门在大量增加资源的同时无需显著增加相应的人员进行维护管理, 云计算的相关技术如下:
虚拟化
虚拟化可大幅度提高组织过程中资源和应用程序的效率和可用性. 虚拟化把物理资源和最终呈现给用户的资源进行了分离, 实际上是一个替代过程, 在具有统一良好架构设计的物理资源上创建出多个替代资源(即虚拟资源), 替代资源和物理资源具有相同的接口和功能, 对用户来说虚拟资源具备与物理资源相同的使用功能, 同时还可以有不同的属性, 如价格, 容量, 可调整性等.
自动化部署
云计算的一个核心思想是通过自动化的方式尽可能地简化任务, 使得用户可以通过自助服务方式快捷地获取所需的资源和能力. 部署是基础设施管理中十分重要, 也是需要花费很大工作量的一部分, 包括操作系统, 中间件和应用等不同层次的部署. 自动化部署可提供简化流程, 用户提出申请后由自动化部署平台根据调度和预约自动完成相应的部署, 因此用户只需花十几分钟, 甚至几分钟就可以得到一个完整的环境, 极大地提高了工作效率.
应用规模扩展
云计算提供了一个巨大的资源池, 而应用的使用又有不同的负载周期, 根据负载对应用的资源进行动态伸缩可以显著提高资源的有效利用率, 即高负载时动态扩展资源, 低负载时释放多余的资源, 这就是应用规模扩展技术所解决的问题. 该技术以应用为基本单位, 为不同的应用架构设定不同的集群类型, 每一种集群类型都有特定的扩展方式, 然后通过监控负载的动态变化, 自动为应用集群增加或者减少资源.
分布式文件系统
分布式存储的目标是利用云环境中多台服务器的存储资源来满足单台服务器所不能满足的存储需求. 其特征是, 存储资源能够被抽象表示和统一管理, 并且能够保证数据读写与操作的安全性, 可靠性等各方面的要求.
云计算催生了一些优秀的分布式文件系统和云存储服务. 最典型的云平台分布式文件系统是 Googie 的 GFS 和开源的 Hadoop. 这两种可伸缩的分布式文件系统利用容错和故障恢复机制, 有效地克服了单节点故障导致的系统故障, 实现了大规模海量级的文件存储. 以 Hadoop 文件系统为例, Hadoop 文件系统 (HDFS) 是一个运行在普通硬件之上的分布式文件系统, 它和现有的分布式文件系统有着很多相似性. 然而, 与其他分布式文件系统的区别也是很明显的: HDFS 是高容错性的. 可以部署在低成本的硬件上, HDFS 高吞吐量地对应用程序进行数据访问, 它适合大数据集的应用程序, HDFS 放开一些 POSIX 的需求去实现流式地访问文件数据.
分布式数据库与非结构化数据存储
在分布式文件系统上. 典型的存储海量结构化数据的分布式存储系统包括 Google 的 BigTable, 开源的 HBase 等. 这些系统可将非结构化数据 (如网页等) 存储为分布式的, 多维的, 有序的图. HBase 是 Apache 的 Hadoop 项目的子项目, 是一个分布式的, 面向列的开源数据库, 不同于一般的关系数据库, 它是一个适合于非结构化数据存储的数据库, 并且采用的是基于列的而不是基于行的模式. 其用户存储数据行在一个表里, 一个数据行拥有一个可选择的键和任意数量的列; 表是疏松存储的, 因此用户可以给行定义各种不同的列. HBase 主要用于需要随机访问, 实时读写大数据.
分布式计算
基于云平台的最典型的分布式计算模式是 Map Reduce 编程模型. Map Reduce 将大型任务分成很多细粒度的子任务, 这些子任务分布式在多个计算节点上进行调度和计算, 从而在云平台上获得对海量数据的处理能力."Map(映射)" 和 "Reduce(化简)" 的主要思想都是从函数式编程语言里借来的: 当前的软件实现是指定一个 Map(映射)函数, 用来把一组键值对映射成一组新的键值对, 指定并发的 Reduce(化简)函数, 用来保证所有映射的键值对中的每一个共享相同的键组.
简单说来, 一个映射函数就是对一些独立元素组成概念列表的每一个元素进行指定的操作. 事实上, 每个元素都是被独立操作的, 而原始列表没有被更改, 因为这里创建了一个新的列表来保存新的答案. 也就是说, Map 操作是可以高度并行的, 这对高性能要求的应用以及并行计算领域的需求非常有用. Reduce 操作指的是对一个列表的元素进行适当的合并. 虽然它不如映射函数那么并行, 但是因为化简总是有一个简单的答案, 大规模的运算相对独立, 所以化简函数在高度并行环境下也很有用.
来源: http://cloud.51cto.com/art/201810/585571.htm