代码空间

摘要(Abstract)

Sahara项目旨在使用用户能够在Openstack平台上便于创建和管理Hadoop以及其他计算框架集群,实现类似AWS的EMR(Amazon Elastic MapReduce service)服务。用户只需要提供简单的参数,如版本信息、集群拓扑、节点硬件信息等,利用Sahara服务能够在数分钟时间内快速地部署Hadoop、Spark、Storm集群。Sahara还支持节点的弹性扩展,能够方便地按需增加或者减少计算节点,实现弹性数据计算服务。它特别适合开发人员或者QA在Openstack平台上快速部署大数据处理计算集群。Openstack的标准组件之一; 通过REST API和Dashboard UI界面管理集群; 支持多种数据处理计算框架,包括: 多种Hadoop厂商发行版,比如CDH等; Apache Spark和Storm; 可插除的Hadoop安装引擎; 集成厂商的特定管理工具,如Apache Ambari and Cloudera Management Console。 支持配置模板。选择Hadoop发行版本; 选择base镜像,base镜像用于生成工作节点,base镜像或者已经预先安装了Hadoop的必要组件,或者提供可插除的可自动快速部署Hadoop的工具。base镜像可以自己制作,也可以直接下载: http://sahara-files.mirantis.com/images/upstream/liberty/ 集群配置,包括集群大小、集群拓扑(配置组件角色)和一些附加参数(如堆大小、HDFS冗余份数等); 创建集群,sahara将自动创建虚拟机、部署和配置数据分析计算框架集群; 集群管理,如增加或者删除节点; 集群销毁,用户不需要时,可以删除集群,释放所有的资源。

主题(Topic)



项目(Project)


全部项目