大數據因其強大的數據分析功能而受到市場熱捧，互聯網的發展迫使企業紛紛將目光集中在大數據，通過對大數據的分析開發市場剛需產品，並獲得大量用戶。大數據入門首先要學會使用工具，今天小鳥就來給大家介紹常用的十大大數據所用工具的詳細介紹。
1.Talend Open Studio
這是第一家針對數據集成工具市場的開源軟件供應商，學習大數據多多少少得了解這個工具。從Talend的下載量來看，它的下載次數以超過2000萬人次，功能方面也是毋庸置疑。它的開源軟件提供了數據整合功能。其用戶包括美國國際集團（AIG）、康卡斯特、電子港灣、通用電氣、三星、Ticketmaster和韋裡遜等企業組織。
2、DYSON
這是由探碼科技自主研發的DYSON智能分析系統，它的功能非常強大，不僅可以完整的實現大數據的採集、分析、處理。DYSON智能分析系統專業針對互聯網數據抓取、處理、分析，挖掘，而且也能非常靈活迅速地抓取網頁上散亂分佈的信息，並通過強大的處理功能，準確挖掘出所需數據，是目前使用人數最多的網頁採集工具.
3、YARN
這個工具出現較晚，可以說是一種新的Hadoop資源管理器，它的功能主要是一個通用資源管理系統，可為上層應用提供統一的資源管理和調度，解決了舊MapReduce框架的性能瓶頸。它的基本思想是把資源管理和作業調度/監控的功能分割到單獨的守護進程。
4、Mesos
此款工具是開源群集管理軟件，是由加州大學伯克利分校的AMPLab最先開發的，支持Hadoop、ElasticSearch、Spark、Storm和Kafka等架構。對數據中心而言它就像一個單一的資源池，從物理或虛擬機器中抽離了CPU，內存，存儲以及其它計算資源，很容易建立和有效運行具備容錯性和彈性的分佈式系統。
5、Datale
由探碼科技研發的一款基於Hadoop的大數據平臺開發套件，RAI大數據應用平臺架構。
6、Lustre
一個大規模的、安全可靠的、具備高可用性的集群文件系統，它是由SUN公司開發和維護的。該項目主要的目的就是開發下一代的集群文件系統，目前可以支持超過10000個節點，數以PB的數據存儲量。
7、Ambari
作為Hadoop生態系統的一部分，提供了基於Web的直觀界面，可用於配置、管理和監控Hadoop集群。目前已支持大多數Hadoop組件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等。
8、Thrift
在2007年facebook提交Apache基金會將Thrift作為一個開源項目，對於當時的facebook來說創造thrift是為了解決facebook系統中各系統間大數據量的傳輸通信以及系統之間語言環境不同需要跨平臺的特性。
9、ZooKeeper
一個分佈式的應用程序協調服務，是Hadoop和Hbase的重要組件。它是一個為分佈式應用提供一致性服務的工具，讓Hadoop集群裡面的節點可以彼此協調。ZooKeeper現在已經成為了Apache的頂級項目，為分佈式系統提供了高效可靠且易於使用的協同服務。
10、Chukwa
監測大型分佈式系統的一個開源數據採集系統，建立在HDFS/MapReduce框架之上並繼承了Hadoop的可伸縮性和可靠性，可以收集來自大型分佈式系統的數據，用於監控。它還包括靈活而強大的顯示工具用於監控、分析結果。
想要了解更多大數據工具，關注小鳥，後續會持續更新大數據相關工具、案例等乾貨分享。當然若是你有更多的疑問或者想法，也歡迎私信小鳥一起討論，學無止境，大家一起共同努力。
閱讀更多 程序員小鳥 的文章
