- Hadoop大数据开发案例教程与项目实战(在线实验+在线自测)
- 西普教育研究院 时允田 林雪纲
- 1319字
- 2021-04-01 02:11:55
1.4 Hadoop的发展史
2002年,Hadoop起始于Apache项目的Nutch。
2003年,Google发布关于GFS的论文。
2004年,Nutch的开发者开发了NDFS。
2004年,Google发表了关于MapReduce的论文。
2004年,由道格·卡丁开发了现在HDFS和MapReduce的最初版本。
2005年,MapReduce被引入NDFS。
2005年12月,Nutch移植到新框架,Hadoop在20个节点上稳定运行。
2006年1月,道格·卡丁加入Yahoo!。
2006年2月,Apache Hadoop项目正式启动以支持MapReduce和HDFS的独立发展。
2006年2月,Yahoo!的网格计算团队采用Hadoop。
2006年4月,在188个节点上(每个节点10 GB)运行排序测试需要47.9小时。
2006年5月,Yahoo!建立了一个300个节点的Hadoop研究集群。
2006年5月,在500个节点上运行排序测试需要42小时(硬件配置比4月的更好)。
2006年11月,研究集群增加到600个节点。
2006年12月,排序测试集在20个节点上运行1.8小时,100个节点上运行3.3小时,500个节点上运行5.2小时,900个节点上运行7.8小时。
2007年1月,研究集群增加到900个节点。
2007年4月,研究集群增加到两个1000个节点的集群。
2008年4月,在900个节点上运行1 TB排序测试仅需209秒,成为世界最快。
2008年10月,研究集群每天装载10 TB的数据。
2009年3月,17个集群总共24 000台机器。
2009年4月,赢得每分钟排序,59秒内排序500 GB(在1400个节点上)和173分钟内排序100 TB数据(在3400个节点上)。
2009年7月,Avro和Chukwa成为Hadoop新的子项目。
2010年5月,Avro脱离Hadoop项目,成为Apache顶级项目。
2010年5月,Hbase脱离Hadoop项目,成为Apache顶级项目。
2010年5月,IBM提供了基于Hadoop的大数据分析软件——InfoSphere BigInsights,包括基础版和企业版。
2010年9月,Hive(Facebook)脱离Hadoop,成为Apache顶级项目。
2010年9月,Pig脱离Hadoop,成为Apache顶级项目。
2011年1月,ZooKeeper脱离Hadoop,成为Apache顶级项目。
2011年3月,Apache Hadoop获得Media Guardian Innovation Awards。
2011年3月,Platform Computing宣布在它的Symphony软件中支持Hadoop MapReduce API。
2011年5月,HCatalog 1.0发布。该项目由Hortonworks 在2010年3月份提出,HCatalog主要用于解决数据存储、元数据的问题,主要解决HDFS的瓶颈,它提供了一个地方来存储数据的状态信息,这使得数据清理和归档工具可以很容易地进行处理。
2011年4月,SGI(Silicon Graphics International)基于SGI Rackable和CloudRack服务器产品线提供Hadoop优化的解决方案。
2011年5月,EMC为客户推出一种新的基于开源Hadoop解决方案的数据中心设备——GreenPlum HD,以助其满足客户日益增长的数据分析需求并加快利用开源数据分析软件。Greenplum是EMC在2010年7月收购的一家开源数据仓库公司。
2011年5月,在收购了Engenio之后,NetApp推出与Hadoop应用结合的产品E5400存储系统。
2011年6月,Calxeda公司(之前公司的名字是Smooth-Stone)发起了“开拓者行动”,一个由10家软件公司组成的团队将为基于Calxeda即将推出的ARM系统上芯片设计的服务器提供支持。并为Hadoop提供低功耗服务器技术。
2011年6月,数据集成供应商Informatica发布了其旗舰产品,产品设计初衷是处理当今事务和社会媒体所产生的海量数据,同时支持Hadoop。
2011年7月,Yahoo!和硅谷风险投资公司 Benchmark Capital创建了Hortonworks公司,旨在让Hadoop更加鲁棒(可靠),并让企业用户更容易安装、管理和使用Hadoop。
2011年8月,Cloudera公布了一项有益于合作伙伴生态系统的计划——创建一个生态系统,以便硬件供应商、软件供应商以及系统集成商可以一起探索如何使用 Hadoop 更好地洞察数据。
2011年8月,Dell 与 Cloudera 联合推出 Hadoop 解决方案——Cloudera Enterprise。Cloudera Enterprise基于Dell PowerEdge C2100机架服务器以及Dell PowerConnect 6248以太网交换机。
2013年5月,Hadoop与Cloudera完全整合。
2014年2月,Hadoop发布Hadoop 2.3.0。
2014年4月,Hadoop发布Hadoop 2.4.0。
2014年8月,Hadoop发布Hadoop 2.5.0。
2014年11月,Hadoop发布Hadoop 2.6.0。
2015年4月,Hadoop发布Hadoop 2.7.0。
2016年9月,Hadoop发布Hadoop 3.0.0。