选择Isilon部署Hadoop的六大优势

更新时间:2015-04-02 10:57:27点击次数:864次

介绍


利用EMC Isilon横向扩展 NAS可以将大数据集聚合到一个强大但易于管理的存储平台上,该平台具有强大的可扩展性、很高的性能、无与伦比的效率以及运营的灵活性,可支持广泛的应程序。本文将为您列举选择Isilon横向扩展NAS进行大数据分析的6大优势。

 

 

更多信息

  

Hadoop主要由二个重要组件构成:文件系统(HDFS)和计算系统(MapReduce)。在Hadoop生态系统中还包括众多开源工具,如:RHIPE、Pig、Mahout、Hive、HBase等等。Hadoop生态系统可以参考下图:

 

 Untitled.png

 

那么在EMC的Isilon横向扩展NAS上部署Hadoop具备哪些优势呢?总结下来主要是以下六个方面:

 

 

1、横向扩展存储平台

 

Hadoop构建在横向扩展架构上,可以利于集群上所有节点引擎的处理能力,高效和快速的运行智能分析软件。Isilon横向扩展NAS既能适应不断变化的基础架构和数据容量需求,也能轻松处理不断增长的应用流量,而且不失简单性和易用性。

 

 

 

2、无单点故障

 

在使用传统的直连存储进行Hadoop计算时,所有文件系统命令空间都由一个NameNode进行管理。但是,在Isilon存储中,每个Isilon节点都可以响应NameNode请求。每当Hadoop计算客户端向Isilon集群发送文件请求时,该请求都会被发送到不同的Isilon节点。 在Hadoop环境中,集群的每个节点都充当NameNode和SpaceNode,这样可以对多个映射程序的文件请求实现负载均衡。通过这种方式,Isilon可以消除传统Hadoop集群存在的单点故障,实现负载均衡。

 

 

 

3、端到端数据保护

 

通过SnapshotIQ、SyncIQ和NDMP功能,Isilon可以提供高性能异地数据复制、本地备份和快照功能,已满足不同端到端数据保护需求。客户可以在系统成本和容灾要求之间找到很好的平衡。

 

 

 

4、存储效率业界领先

 

Isilon OneFS操作系统使用业界领先的Erasure Code(纠删码)保护数据,存储管理员可以在单个目录下管理整个存储池,配置简单高效。另外,Isilon作为第一个为Hadoop HDFS整合大数据分析提供的存储解决方案,同时支持HDFS的1.0和2.0协议,允许相同的数据以多种方式输出,裸存储利用率达到80%以上,提供了业界领先的利用率水平。

 

 

 

5、独立的可扩展性

 

Isilon OneFS操作系统是全分布式,具有很好的扩展性,最大可以扩展到144个存储节点,单一卷容量可达20PB。相对传统存储都是集中式的,扩展性不好。

 

 

 

6、多协议

 

Isilon横向扩展NAS支持众多行业标准协议,如:NFS、SMB、FTP、HTTP和Hadoop HDFS,可以简化业务分析计划、简化和整合工作流、提高灵活性以及为企业应用程序提供更大的灵活性。



原文出处:EMC中文支持论坛https://community.emc.com/go/chinese

  • 项目经理 点击这里给我发消息
  • 项目经理 点击这里给我发消息
  • 项目经理 点击这里给我发消息
  • 项目经理 点击这里给我发消息