精简版
0
0
0
云栖社区 > Apache Spark 中国技术社区 > 博客 > 正文
阿里云 E-MapReduce 团队 2019-11-12 22:28:51 浏览 1040
架构
监控
配置
集群
- Image
- spark
- e-mapreduce
- string
分布式计算
- Driver
- EMR
- k8s
- operator
展开阅读全文
本文介绍 Spark Operator 的设计和实现相关的内容.
Spark 运行时架构
经过近几年的高速发展, 分布式计算框架的架构逐渐趋同. 资源管理模块作为其中最通用的模块逐渐与框架解耦, 独立成通用的组件. 目前大部分分布式计算框架都支持接入多款不同的资源管理器. 资源管理器负责集群资源的管理和调度, 为计算任务分配资源容器并保证资源隔离. Apache Spark 作为通用分布式计算平台, 目前同时支持多款资源管理器, 包括:
- YARN
- Mesos
- Kubernetes(K8s)
Spark Standalone(自带的资源管
来源: https://yq.aliyun.com/articles/726791