Hadoop演进与Hadoop生态

阅读原文时间：2024年11月29日阅读：1

1.了解对比Hadoop不同版本的特性，可以用图表的形式呈现。

(1)0.20.0~0.20.2: Hadoop的0.20分支非常稳定，虽然看起来有些落后，但是经过生产环境考验，是 Hadoop历史上生命周期最长的一个分支，CDH3、CDH4虽然包含了0.21和0.22分支的新功能和补丁，但都是基于此分支。

(2)0.20- append:020- append支持HDFS追加，由于该功能被认为是一个不稳定的潜在因素，所以它被单独新开了一个分支，并且没有任何新的 Hadoop的正式版基于此分支发布。

(3)0.20- ecurity:该分支基于020并支持 Kerberos认证。

(4)0.20.203~0.20.205:这些版本包括了 Security分支所带功能，并且还包括错误修复和020分支的线上开发的改进。

(5)0.21.0:0.21是一个预研性质的版本，目的是强调那段时间开发的一些新功能，没有Security功能，但有 Append功能，不建议部署在生产环境。

(6)0.22.0:0.22.0包括HDFS的安全功能，并且更新不大

(7)0.23.0:在2011年11月， Hadoop023发布了，包括了 Append、 Security、YARN和HDFS Federation功能，该版本被认为是20.0的预览版本。

(8)1.0.0:1.0.0版本是基于0.20.205版本发布，包括了 Security功能，是一个值得部署的稳定版本。但是从上面可以看出，1.0.0并不是包含了所有分支

(9)2.0.0:2012年5月，基于0.23.0分支的20.0版本发布，它包含了YARN，但移除了MRvl，兼容了MRv1的API，但底层实现有明显不同，需要经过大量测试才能被用于生产环境。CDH4是基于此版本，但CDH4还提供了MRv1的实现。

2.Hadoop生态的组成、每个组件的作用、组件之间的相互关系，以图例加文字描述呈现。

* Ambari™：基于Web的工具，用于供应，管理和监视Apache Hadoop集群，其中包括对Hadoop HDFS，Hadoop MapReduce，Hive，HCatalog，HBase，ZooKeeper，Oozie，Pig和Sqoop的支持。Ambari还提供了一个仪表板，用于查看集群健康状况（例如热图）以及以可视方式查看MapReduce，Pig和Hive应用程序的功能，以及以用户友好的方式诊断其性能特征的功能。
- Avro™：数据序列化系统。
- Cassandra™：可扩展的多主数据库，没有单点故障。
- Chukwa™：一种用于管理大型分布式系统的数据收集系统。
- HBase™：可扩展的分布式数据库，支持大型表的结构化数据存储。
- Hive™：一种数据仓库基础结构，可提供数据汇总和即席查询。
- Mahout™：可扩展的机器学习和数据挖掘库。
- Pig™：用于并行计算的高级数据流语言和执行框架。
- Spark™：一种用于Hadoop数据的快速通用计算引擎。Spark提供了一种简单而富有表现力的编程模型，该模型支持广泛的应用程序，包括ETL，机器学习，流处理和图形计算。
- Submarine：一个统一的AI平台，允许工程师和数据科学家在分布式集群中运行机器学习和深度学习工作负载。
- Tez™：基于Hadoop YARN的通用数据流编程框架，它提供了强大而灵活的引擎来执行任意DAG任务，以处理批处理和交互用例的数据。Hadoop生态系统中的Hive™，Pig™和其他框架以及其他商业软件（例如ETL工具）都采用了Tez，以取代Hadoop™MapReduce作为基础执行引擎。
- ZooKeeper™：针对分布式应用程序的高性能协调服务。