精简版
0
0
0
云栖社区 > Apache Spark 中国技术社区 > 博客 > 正文
开源大数据 EMR 2019-10-10 09:54:40 浏览 254
Apache
Spark 中国技术社区
展开阅读全文
作者: 殳鑫鑫, 花名辰石, 阿里巴巴计算平台事业部 EMR 团队技术专家, 目前从事大数据存储以及 Spark 相关方面的工作.
2019 年云栖大会上, EMR Jindo 的技术存储分离方案得到很大的关注, 视频直达链接 [云上大数据的一种高性能数据湖存储方案]
[EMR 打造高效云原生数据分析引擎]
JindoFS 背景
计算存储分离是云计算的一种发展趋势, 传统的计算存储相互融合的的架构存在一定的问题, 比如在集群扩容的时候存在计算能力和存储能力相互不匹配的问题, 用户在某些情况下只需要扩容计算能力或者存储能力, 传统的融合架构不能单独的扩充计算或者存储能力, 而计算存储分离可以很好的解决这个问题, 用户只需要关心整个集群的计算能力.
基于 OSS 计算存储分离
EMR 现有的计算存储分离方案是基于 OSS 提供兼容 Hadoop 文件系统的 OssFS, 用户通过 OssFS
来源: https://yq.aliyun.com/articles/720312