Spark诞生之前的故事（二）

，一群不知天高地厚的工程师，将Mapreudce的方式在Google开始应用，在google跨时代的论文发表之前， Doug Cutting正在尝试进行开发一款低开销的方式构建网页倒排索引的方式，当看Google的paper后，Doug Cutting开始着手进行开发类似的mapreduce系统和GFS，但是Doug Cutting当时所在的公司并不是很重视这个技术，因此几经周折，终于遇到了伯乐Yahoo的搜索负责人Raymie Stata，Raymie Stata对Hadoop很有热心，其实也受制于原有系统的诸多问题，Raymie组建了百人的团队做Yahoo的开发和维护，这个百人团队后来发展到几百人的团队是Yahoo的infrastructure基础团队的重要组成，后来这个团队做出来了pig，oozie，从这个团队跳槽的很多人成了各个公司Hadoop开发的中流砥柱。

2008年Yahoo做出一个重大的决定，将Hadoop进行开源，主要包含两个核心组件HDFS和MapReduce，虽然现在看来，里面存在诸多问题，甚至有很多bug，以及被大家诟病的HA问题，但是正如今天互联网的速度一样，汽车能跑就先跑起来，跑的过程中混换轮子。时至今日对于Hadoop开源的意义不言而喻，这已经影响到了全球每一个互联网公司，在下有一次有幸和曾今google的中层针对这个事情有一个简单的沟通，其实开始针对Hadoop的开源并不是很在意，毕竟Map-reduce的诸多问题已经暴露，而且google已经开始尝试开发第二代的GFS了，已经远远领先业界。但是时至今日，Hadoop生态席卷全球，后学所有的计算引擎必须支持HDFS，不知道是否有人后悔呢。