早在大數據這個概念出現之前，就存在了數學、統計學、算法、編程語言等各種各樣的關於的研究、討論和實踐。如今的時代，算法以及各種數學知識作為建築的原料（比如鋼筋、磚塊），編程語言作為粘合劑（比如水泥）構成了一座座小房子（比如一個應用程序），形成了一小片一小片的村莊（比如一臺服務器）。這個時代村與村之間還沒有高速公路（GFS, HDFS, Flume, Kafka等），只有一條泥濘不好走的土路（比如RPC），經濟模式也是小作坊式的經濟。一開始互聯網並不發達，網速也不快，這種老土的方式完全應付得來，可是隨著社交網絡和智能手機的興起，改變了這一切。網站流量成百上千倍的提高，數據變得更加多樣化，計算機硬件性能無法按照摩爾定律穩定的提升，小村莊，小作坊生產的模式註定受到限制。人們需要更強大的模式…
起開始，人們以為只要有一個強大的，也就是在所有的村莊之間建一座吞吐量巨大，並且兼容幷蓄（非關係型，NoSQL）的倉庫，用來中轉每個村莊生產的大量異質貨物就能夠拉動經濟的增長。可是沒過多久，人們就意識到這是一個too young to simple的想法，因為這個倉庫的大小也總是有上限的。 之後MapReduce的概念最早由google提出，用來解決大規模集群協同運算的問題，既然一臺計算機性能有限，何不將他們聯合起來？其野心勃勃，希望為每個村莊都建立一條"村村通"公路，也就是GFS了，就是Google分佈式文件系統的意思，將不同服務器的硬盤連接起來，在外面看起來就好像一塊巨大的硬盤。然後構建與其上的MapReduce就是一座工廠調度每個村莊的勞動力和物資，讓這些村莊作為一個經濟體運轉起來。居民變得富裕起來了。
不過，富裕起來的只有"谷歌鎮"，世界的其他村鎮仍然過著原始的生活。這個時候雅虎和Apache的一幫人本著獨樂樂不如眾樂樂的精神，仿造google的思想，創建了HDFS（Hadoop 分佈式文件系統，對應GFS）、Hadoop（對應google的MapReduce），並公開了全部的藍圖，供全世界免費使用。這樣整個世界到處都建立起來了工廠，人們變得富裕起來了。這個時代，Hadoop叫做大數據基礎設施。俗話說：飽暖思淫慾，工廠的領導不滿足於村鎮工廠的粗放型生產，也不再想僱用那麼多的勞動力，所以Mahout、HBase、Hive、Pig應運而生，他們都是數控機床，加工中心，只需要幾名操作手就能夠讓整個工廠運轉起來，自此人們安居樂業，豐衣足食。 當然，少數更有野心的資本家，不滿足於現在的生產力，為了追求更高的利潤（這是資本主義的本質），開發了效率更高的系統Spark，可以10倍於Hadoop的速度生產產品，才剛剛拉開序幕…
需要零基礎視頻 開發工具 系統學習路線，私信回覆 關鍵字：“666” 獲取
閱讀更多 IT時代發展 的文章
