Hadoop實現了一個分佈式文件系統簡稱HDFS。HDFS有高容錯性的特點，並且設計用來部署在低廉的硬件上;而且它提供高吞吐量來訪問應用程序的數據，適合那些有著超大數據集的應用程序。HDFS放寬了POSIX的要求，可以以流的形式訪問文件系統中的數據。
Hadoop的框架最核心的設計就是:HDFS和MapReduce。HDFS為海量的數據提供了存儲，則MapReduce為海量的數據提供了計算。
Hadoop的核心組件
1、海量存儲——HDFS
- 分佈式易擴展
- 廉價易得
- 高吞吐量
- 高可靠性
2、分佈式並行計算——資源調度+編程模型
- 大容量高併發
- 封裝分佈式實現細節
- 大大提高分析效率
Hadoop的優點
- 擴展性：Hadoop可以擴展至數千個節點，對數據持續增長，數據量特別巨大的需求很合適。
- 低成本：Hadoop對硬件要求不高，從軟件上節約成本。
- 生態群活躍：其周邊開源項目豐富，HBase, Hive，Impala等等基礎開源項目眾多。
Hadoop 正失去市場？
然而令人驚訝的是，最近行業裡開始傳出一種聲音：Hadoop 的市場佔有率已經出現了明顯的停滯不前。甚至 IBM 的大數據宣傳人員 James Kobielus 還公開表示：“Hadoop 在大數據領域的頹勢比我預期的還要嚴重。”
調查顯示：在沒有投資的人中，有 49% 的人正在努力學習怎樣行之有效地利用 Hadoop 為企業創造更多價值，其次還有將近 57% 的人表示並非他們不想，但是存在技能差距是主要障礙，而且這種差距是無法在短期內縮小的。
以上結論與另一項關於 Hadoop 的調查相一致：在2014年中期，大約有 0.061% 的招聘廣告中出現了“Hadoop Testing”這個關鍵詞，然後該數字在 2016 年末又上升到 0.087%，在 18 個月內增長了大約 43%。
其實單純從 Hadoop 的市場佔有率來推斷其發展態勢似乎有些片面了，因為還有許多公司並非不想採用 Hadoop，只是他們發現很難利用現有的技術團隊充分挖掘 Hadoop 的應用價值，實際上，他們只是需要更多的專業知識。
分享到:
閱讀更多 咱小二 的文章
