【推薦】非常棒的大數據學習資源

今天為大家推薦一些翻譯整理的大數據相關的非常棒的學習資源,希望能給大家一些幫助。


【推薦】非常棒的大數據學習資源


服務編程Akka Toolkit:JVM中分佈性、容錯事件驅動應用程序的運行時間;

Apache Avro:數據序列化系統;

Apache Curator:Apache ZooKeeper的Java庫;

Apache Karaf:在任何OSGi框架之上運行的OSGi運行時間;

Apache Thrift:構建二進制協議的框架;

Apache Zookeeper:流程管理集中式服務;

Google Chubby:一種松耦合分佈式系統鎖服務;

Linkedin Norbert:集群管理器;

OpenMPI:消息傳遞框架;

Serf:服務發現和協調的分散化解決方案;

Spotify Luigi:一種構建批處理作業的複雜管道的Python包,它能夠處理依賴性解析、工作流管理、可視化、故障處理、命令行一體化等等問題;

Spring XD:數據攝取、實時分析、批量處理和數據導出的分佈式、可擴展系統;

Twitter Elephant Bird:LZO壓縮數據的工作庫;

Twitter Finagle:JVM的異步網絡堆棧。

調度

Apache Aurora:在Apache Mesos之上運行的服務調度程序;

Apache Falcon:數據管理框架;

Apache Oozie:工作流作業調度程序;

Chronos:分佈式容錯調度;

Linkedin Azkaban:批處理工作流作業調度;

Schedoscope:Hadoop作業敏捷調度的Scala DSL;

Sparrow:調度平臺;

Airflow:一個以編程方式編寫、調度和監控工作流的平臺。

機器學習

Apache Mahout:Hadoop的機器學習庫;

brain:JavaScript中的神經網絡;

Cloudera Oryx:實時大規模機器學習;

Concurrent Pattern:Cascading的機器學習庫;

convnetjs:Javascript中的機器學習,在瀏覽器中訓練卷積神經網絡(或普通網絡);

Decider:Ruby中靈活、可擴展的機器學習;

ENCOG:支持多種先進算法的機器學習框架,同時支持類的標準化和處理數據;

etcML:機器學習文本分類;

Etsy Conjecture:Scalding中可擴展的機器學習;

Google Sibyl:Google中的大規模機器學習系統;

GraphLab Create:Python的機器學習平臺,包括ML工具包、數據工程和部署工具的廣泛集合;

H2O:Hadoop統計性的機器學習和數學運行時間;

MLbase:用於BDAS堆棧的分佈式機器學習庫;

MLPNeuralNet:針對iOS和Mac OS X的快速多層感知神經網絡庫;

MonkeyLearn:使文本挖掘更為容易,從文本中提取分類數據;

nupic:智能計算的Numenta平臺,它是一個啟發大腦的機器智力平臺,基於皮質學習算法的精準的生物神經網絡;

PredictionIO:建於Hadoop、Mahout和Cascading上的機器學習服務器;

SAMOA:分佈式流媒體機器學習框架;

scikit-learn:scikit-learn為Python中的機器學習;

Spark MLlib:Spark中一些常用的機器學習(ML)功能的實現;

Vowpal Wabbit:微軟和雅虎發起的學習系統;

WEKA:機器學習軟件套件;

BidMach:CPU和加速GPU的機器學習庫。

基準測試

Apache Hadoop Benchmarking:測試Hadoop性能的微基準;

Berkeley SWIM Benchmark:現實大數據工作負載基準測試;

Intel HiBench:Hadoop基準測試套件;

PUMA Benchmarking:MapReduce應用的基準測試套件;

Yahoo Gridmix3:雅虎工程師團隊的Hadoop集群基準測試。

安全性

Apache Knox Gateway:Hadoop集群安全訪問的單點;

Apache Sentry:存儲在Hadoop的數據安全模塊。

系統部署

Apache Ambari:Hadoop管理的運作框架;

Apache Bigtop:Hadoop生態系統的部署框架;

Apache Helix:集群管理框架;

Apache Mesos:集群管理器;

Apache Slider:一種YARN應用,用來部署YARN中現有的分佈式應用程序;

Apache Whirr:運行雲服務的庫集;

Apache YARN:集群管理器;

Brooklyn:用於簡化應用程序部署和管理的庫;

Buildoop:基於Groovy語言,和Apache BigTop類似;

Cloudera HUE:和Hadoop進行交互的Web應用程序;

Facebook Prism:多數據中心複製系統;

Google Borg:作業調度和監控系統;

Google Omega:作業調度和監控系統;

Hortonworks HOYA:可在YARN上部署HBase集群的應用;

Marathon:用於長期運行服務的Mesos框架。

應用程序

Adobe spindle:使用Scala、Spark和Parquet處理的下一代web分析;

Apache Kiji:基於HBase,實時採集和分析數據的框架;

Apache Nutch:開源網絡爬蟲;

Apache OODT:用於NASA科學檔案中數據的捕獲、處理和共享;

Apache Tika:內容分析工具包;

Argus:時間序列監測和報警平臺;

Countly:基於Node.js和MongoDB,開源的手機和網絡分析平臺;

Domino:運行、規劃、共享和部署模型——沒有任何基礎設施;

Eclipse BIRT:基於Eclipse的報告系統;

Eventhub:開源的事件分析平臺;

Hermes:建於Kafka上的異步消息代理;

HIPI Library:在Hadoop’s MapReduce上執行圖像處理任務的API;

Hunk:Hadoop的Splunk分析;

Imhotep:大規模分析平臺;

MADlib:RDBMS的用於數據分析的數據處理庫;

Kylin:來自eBay的開源分佈式分析工具;

PivotalR:Pivotal HD / HAWQ和PostgreSQL中的R;

Qubole:為自動縮放Hadoop集群,內置的數據連接器;

Sense:用於數據科學和大數據分析的雲平臺;

SnappyData:用於實時運營分析的分佈式內存數據存儲,提供建立在Spark單一集成集群中的數據流分析、OLTP(聯機事務處理)和OLAP(聯機分析處理);

Snowplow:企業級網絡和事件分析,由Hadoop、Kinesis、Redshift 和Postgres提供技術支持;

SparkR:Spark的R前端;

Splunk:用於機器生成的數據的分析;

Sumo Logic:基於雲的分析儀,用於分析機器生成的數據;

Talend:用於YARN、Hadoop、HBASE、Hive、HCatalog和Pig的統一開源環境;

Warp:利用大數據(OS X app)的實例查詢工具。

搜索引擎與框架

Apache Lucene:搜索引擎庫;

Apache Solr:用於Apache Lucene的搜索平臺;

ElasticSearch:基於Apache Lucene的搜索和分析引擎;

Enigma.io:為免費增值的健壯性web應用,用於探索、篩選、分析、搜索和導出來自網絡的大規模數據集;

Facebook Unicorn:社交圖形搜索平臺;

Google Caffeine:連續索引系統;

Google Percolator:連續索引系統;

TeraGoogle:大型搜索索引;

HBase Coprocessor:為Percolator的實現,HBase的一部分;

Lily HBase Indexer:快速、輕鬆地搜索存儲在HBase的任何內容;

LinkedIn Bobo:完全由Java編寫的分面搜索的實現,為Apache Lucene的延伸;

LinkedIn Cleo:為一個一個靈活的軟件庫,使得局部、無序、實時預輸入的搜索實現了快速發展;

LinkedIn Galene:LinkedIn搜索架構;

LinkedIn Zoie:是用Java編寫的實時搜索/索引系統;

Sphinx Search Server:全文搜索引擎

MySQL的分支和演化

Amazon RDS:亞馬遜雲的MySQL數據庫;

Drizzle:MySQL的6.0的演化;

Google Cloud SQL:谷歌雲的MySQL數據庫;

MariaDB:MySQL的增強版嵌入式替代品;

MySQL Cluster:使用NDB集群存儲引擎的MySQL實現;

Percona Server:MySQL的增強版嵌入式替代品;

ProxySQL:MySQL的高性能代理;

TokuDB:用於MySQL和 MariaDB的存儲引擎;

WebScaleSQL:運行MySQL時面臨類似挑戰的幾家公司,它們的工程師之間的合作。

PostgreSQL的分支和演化

Yahoo Everest – multi-peta-byte database / MPP derived by PostgreSQL.

HadoopDB:MapReduce和DBMS的混合體;

IBM Netezza:高性能數據倉庫設備;

Postgres-XL:基於PostgreSQL,可擴展的開源數據庫集群;

RecDB:完全建立在PostgreSQL內部的開源推薦引擎;

Stado:開源MPP數據庫系統,只針對數據倉庫和數據集市的應用程序;

Yahoo Everest:PostgreSQL可以推導多字節P比特數據庫/MPP。

Memcached的分支和演化

Facebook McDipper:閃存的鍵/值緩存;

Facebook Memcached:Memcache的分支;

Twemproxy:Memcached和Redis的快速、輕型代理;

Twitter Fatcache:閃存的鍵/值緩存;

Twitter Twemcache:Memcache的分支。

嵌入式數據庫

Actian PSQL:Pervasive Software公司開發的ACID兼容的DBMS,在應用程序中嵌入了優化;

BerkeleyDB:為鍵/值數據提供一個高性能的嵌入式數據庫的一個軟件庫;

HanoiDB:Erlang LSM BTree存儲;

LevelDB:谷歌寫的一個快速鍵-值存儲庫,它提供了從字符串鍵到字符串值的有序映射;

LMDB:Symas開發的超快、超緊湊的鍵-值嵌入的式數據存儲;

RocksDB:基於性LevelDB,用於快速存儲的嵌入式持續性鍵-值存儲。

商業智能

BIME Analytics:商業智能雲平臺;

Chartio:精益業務智能平臺,用於可視化和探索數據;

datapine:基於雲的自助服務商業智能工具;

Jaspersoft:功能強大的商業智能套件;

Jedox Palo:定製的商業智能平臺;

Microsoft:商業智能軟件和平臺;

Microstrategy:商業智能、移動智能和網絡應用軟件平臺;

Pentaho:商業智能平臺;

Qlik:商業智能和分析平臺;

Saiku:開源的分析平臺;

SpagoBI:開源商業智能平臺;

Tableau:商業智能平臺;

Zoomdata:大數據分析;

Jethrodata:交互式大數據分析。

數據可視化

Airpal:用於PrestoDB的網頁UI;

Arbor:利用網絡工作者和jQuery的圖形可視化庫;

Banana:對存儲在Kibana中Solr. Port的日誌和時戳數據進行可視化;

Bokeh:一個功能強大的Python交互式可視化庫,它針對要展示的現代web瀏覽器,旨在為D3.js風格的新奇的圖形提供優雅簡潔的設計,同時在大規模數據或流數據集中,通過高性能交互性來表達這種能力;

C3:基於D3可重複使用的圖表庫;

CartoDB:開源或免費增值的虛擬主機,用於帶有強大的前端編輯功能和API的地理空間數據庫;

chartd:只帶Img標籤的反應靈敏、兼容Retina的圖表;

Chart.js:開源的HTML5圖表可視化效果;

Chartist.js:另一個開源HTML5圖表可視化效果;

Crossfilter:JavaScript庫,用於在瀏覽器中探索多元大數據集,用Dc.js和D3.js.效果很好;

Cubism:用於時間序列可視化的JavaScript庫;

Cytoscape:用於可視化複雜網絡的JavaScript庫;

DC.js:維度圖表,和Crossfilter一起使用,通過D3.js呈現出來,它比較擅長連接圖表/附加的元數據,從而徘徊在D3的事件附近;

D3:操作文件的JavaScript庫;

D3.compose:從可重複使用的圖表和組件構成複雜的、數據驅動的可視化;

D3Plus:一組相當強大的可重用的圖表,還有D3.js的樣式;

Envisionjs:動態HTML5可視化;

FnordMetric:寫SQL查詢,返回SVG圖表,而不是表;

Freeboard:針對IOT和其他Web混搭的開源實時儀表盤構建;

Gephi:屢獲殊榮的開源平臺,可視化和操縱大型圖形和網絡連接,有點像Photoshop,但是針對於圖表,適用於Windows和Mac OS X;

Google Charts:簡單的圖表API;

Grafana:石墨儀表板前端、編輯器和圖形組合器;

Graphite:可擴展的實時圖表;

Highcharts:簡單而靈活的圖表API;

IPython:為交互式計算提供豐富的架構;

Kibana:可視化日誌和時間標記數據;

Matplotlib:Python繪圖;

Metricsgraphic.js:建立在D3之上的庫,針對時間序列數據進行最優化;

NVD3:d3.js的圖表組件;

Peity:漸進式SVG條形圖,折線和餅圖;

Plot.ly:易於使用的Web服務,它允許快速創建從熱圖到直方圖等複雜的圖表,使用圖表Plotly的在線電子表格上傳數據進行創建和設計;

Plotly.js:支持plotly的開源JavaScript圖形庫;

Recline:簡單但功能強大的庫,純粹利用JavaScript和HTML構建數據應用;

Redash:查詢和可視化數據的開源平臺;

Shiny:針對R的Web應用程序框架;

Sigma.js:JavaScript庫,專門用於圖形繪製;

Vega:一個可視化語法;

Zeppelin:一個筆記本式的協作數據分析;

Zing Charts:用於大數據的JavaScript圖表庫。

物聯網和傳感器

TempoIQ:基於雲的傳感器分析;

2lemetry:物聯網平臺;

Pubnub:數據流網絡;

ThingWorx:ThingWorx 是讓企業快速創建和運行互聯應用程序平臺;

IFTTT:IFTTT 是一個被稱為 “網絡自動化神器” 的創新型互聯網服務,它的全稱是 If this then that,意思是“如果這樣,那麼就那樣”;

Evrythng:Evrythng則是一款真正意義上的大眾物聯網平臺,使得身邊的很多產品變得智能化。

最後說一下,想要學習大數據的限時領取免費資料及課程

領取方法:

還是那個萬年不變的老規矩

1.評論文章,沒字數限制,一個字都行!

3.私信小編:“大數據開發教程”即可!

謝謝大家,祝大家學習愉快!(拿到教程後一定要好好學習,多練習哦!)


分享到:


相關文章: