前言
現如今,不懂得大數據知識和微服務分佈式的程序員,都不敢說自己是一名合格的程序員。
而懂得這些知識點的程序員,也不敢說自己能完全掌握。
當然,也有天才隱藏在人群中,默默的發光照亮別人,燃燒自己照亮別人。
今天分享的就特別有趣了,總共分為五大實戰技術文檔:Spark、Hadoop、Hbase、Netty、還有微服務分佈式。
第一部分,就先介紹Hadoop實戰吧
作為雲計算所青睞的分佈式架構,Hadoop 是一個 用Java語言實現的軟件框架,在由大量計算機組成的集群中運行海量數據的分佈式計算,是谷歌實現雲計算的重要基石。本篇分為3個部分,深人找出地介紹了Hadoop框架、編寫和運行Hadoop數據處理程序所需的實踐技能及Hadoop之外更大的生態系統。
第二部分,Spark大數據分析實戰
第1章從Spark 概念出發,介紹Spark的來龍去脈,闡述Spark機制與如何進行Spark編程。
第2章詳細介紹 Spark的開發環境配置。
第3章詳細介紹 Spark生態系統重要組件Spark SQL、Spark Streaming、GraphX、MLlib的實現機制,為後續使用奠定基礎。
第4章詳細介紹如何通過Flume、Kafka、Spark Streaming. HDFS. Flask 等開源工具構建實時與離線數據分析流水線。
第5章從實際出發, 詳細介紹如何在Azure雲平臺,通過Nodejs、AzureQueue、Azure Tablc. Spark Streaming、MLlib 等組件對用戶行為數據進行分析與推薦。
第6章詳細介紹如何通過Titter API、Spark SQL、Spark Streaming、Cassandra.D3等組件對Twitter進行情感分析與統計分析。
第7章詳細介紹如何通過Scrapy、Kafka、MongoDB、 Spark、 Spark Streaming.Elastic Search等組件對新聞進行抓取、分析、熱點新聞聚類等挖掘工作。
第8章詳細介紹了協同過濾概念和模型,講解了如何在Spark中實現基於Item-based. User-based 和Model-based協同過濾算法的推薦系統。
第9章詳細介紹了 社交網絡分析的基本概念和經典算法,以及如何利用Spark實現這些經典算法,用於真實網絡的分析。
第10章詳細介紹 了主題分析模型(LDA),講解如何在Spark中實現LDA算法,並且對真實的新聞數據進行分析。
第11章詳細介紹了搜索引擎的基本原理,以及其中用到的核心搜索排序相關算法一-PageRank 和Ranking SVM,並講解了如何在Spark 中實現PageRank和RankingSVM算法,以及如何對真實的Web數據進行分析。
第三部分,HBase實戰
HBase是一種NoSQL存儲系統,專門]設計用來快速隨機讀寫大規模數據。HBase運行在普通商用服務器上,可以平滑擴展,以支持從中等規模到數十億行、數百萬列的數據集。
本篇是基於經驗提煉而成的指南,它教給讀者如何運用HBase設計、搭建及運行大數據應用系統。全書共分為4個部分。前兩個部分分別介紹了分佈式系統和大規模數據處理的發展歷史,講解HBase的基本原理模式設計以及如何使用HBase的高級特性;第三部分通過真實的應用和代碼示例以及支持這些實踐技巧的理論知識,進一步探索HBase的一些實用技術;第四部分講解如何把原型開發系統升級為羽翼豐滿的生產系統。
第四部分,Netty實戰
本篇共分為4個部分:第一部分詳細地介紹Netty的相關概念以及核心組件,第二部分介紹自定義協議經常用到的編解碼器,第三部分介紹Netty對於應用層高級協議的支持,會覆蓋常見的協議及其在實踐中的應用,第四部分是幾個案例研究。此外,附錄部分還會簡單地介紹Maven,以及如何通過使用Maven編譯和運行本書中的示例。
閱讀本篇不需要讀者精通Java網絡和併發編程。如果想要更加深人地理解本書背後的理念以及Netty源碼本身,可以系統地學習一下Java網絡編程、NIO、併發和異步編程以及相關的設計模式。
第五部分,微服務分佈式構架開發實戰
隨著第三方框架的逐漸完善,實施微服務架構的開發成本越來越低,分佈式架構成為主流勢不可擋。一個完善的架構或系統中包含了許多的知識點,而每一.個知識點則又可以引出非常多的內容,過度地專注於細節反而會拖慢達成目標的步伐。為了更快地實施微服務,本篇基於開源且穩定的第三方工具,介紹如何構建一個龐大且複雜的分佈式系統,用於滿足項目中的實際需求。
每一個工具庫為了適應更豐富的使用場景,通常都會把部分參數以配置文件的方式暴露出來,同時提供用於開發環境的默認配置。本書基於快速使用為主線,儘可能多地講解配置參數的意義及它們之間的關係,幫助讀者在掌握足夠多的知識點後,建立起對微服務分佈式架構的認知,以便為探求更深層次的知識點做好鋪墊。
至此,Spark、Hbase、Hadoop、Netty、微服務五大技術文檔已經整理完畢啦,需要文檔的朋友,就可以轉發此文關注小編,私信小編“技術”來得到獲取方式嘍~~~
感謝大家的支持,持續關注,持續分享乾貨!