現代社會正以不可想象的速度產生海量數據。微博留言產生數據，視頻內容產生數據，手機通話產生數據，商品標籤產生數據，快遞包裹、物品流通產生數據，移動終端和互聯網的普及更是加快了數據產生的速度。人類已經進人數據爆炸性增長的時代一大數 據時代。
大數據時代，同時也是互聯網、物聯網和雲計算的時代，可以說，大數據與這三者緊密相關。
互聯網時代，網民和消費者的界限逐漸消亡，互聯網真實記錄下了網民的點擊、瀏覽、留言，這些都直接反映了他們的性格、偏好和意願。網民不是通過語言告訴企業他們的需求，而是在一系列的行為中，不經意地透露了需求。
這一系列的行為必須相互參照、關聯才能得出答案，而解決這個問題的技術就是“大數據技術”。隨時隨地精準滿足目標用戶群的真實需求和潛在需求，這是互聯網的特徵。誰能抓住互聯網紛繁蕪雜數據背後隱藏的消費者需求，同時高效分析並作出預判，誰就能在互聯網時代勝出。
物聯網時代，物品信息、人的信息、人與人交互的信息、位置信息等是一張更龐大、 更廣泛關聯的數據網。對大數據進行有效分析，將使城市更加智慧。
例如，將交通數據和公安的破案需求結合，將會獲得破案線索;將交通和地理信息結合，能為車主提供最佳行車路線和停車空位;將市政管理和氣象數據結合，能對災害進行有效預警。物聯網對大數據提出了直接的需求。
雲計算時代，核心是業務模式，本質是數據處理技術。如果沒有對大數據的理解和運用，雲計算將只具有簡單資源集約化的軀幹能力，而失去知識集約化的頂層設計的靈魂。如何激活數據資產，使其為國家治理、企業決策乃至個人生活服務，是大數據的核心議題，也是雲計算的靈魂和必然的升級方向。同時，雲計算是大數據的基礎技術支撐。
更具體一點，在一些新興行業，人們對數據的利用方式、數據價值的挖掘方式已經不僅要滿足報表類的分析應用，而且要從數據結果中直接獲得收益。
數據分析部門可以按照推薦系統的點擊效果進行利潤分成;交易的數據可以包裝成分析服務銷售給商戶，幫助他們去洞察市場商機;根據用戶的點擊流行為和上網內容，布放個性化廣告等。這些還僅是大數據商業價值的體現，大數據中更蘊涵著社會價值，它可以幫助政府治理國家、幫助用戶處理個人事務。
大全書共分6章，主要介紹了雲計算和大數據的關係，大數據的存儲、處理、挖掘、可視化以及應用問題，並從技術發展的角度詳細介紹了大數據的體系架構和關鍵技術。同時，分析了大數據技術在電信領域、物聯網領域和企業市場的潛在應用，並結合移動互聯網應用場景分析了大數據的具體應用案例。
從雲計算到大數據
電子商務、社交媒體、移動互聯網和物聯網的興起極大地改變了人們生活與工作的方式，給世界帶來巨大變化。同時，也產生了海量規模的數據，大數據時代已真正地到來。自從進人云計算時代，世界已積累了爆炸性增長的海量數據，並帶來了兩方面的鉅變。
雲計算和大數據
一方面，所有數據都是要保存的，在過去沒有數據積累的時代無法實現的應用終於可以實現;另一方面，從數據匱乏時代轉變到數據氾濫時代，給數據的應用帶來新的挑戰和困擾，簡單地通過搜索引擎獲取數據的方式已經不能滿足用戶千變萬化、層出不窮的需求。從海量數據中高效地獲取數據並有效地深加工，最終得到感興趣的數據變得異常困難。
離線數據處理
分佈式計算框架(執行層)是雲平臺的關鍵組件之一，如圖所示，它架構於分佈式存儲(存儲層)之上，其功能是將計算並行、任務調度與容錯、數據分發、負載平衡等細節封裝起來，對上層應用提供計算服務。圖中的語言層.是對服務接口的封裝，對用戶提供類SQL語言的編程界面，不同計算框架的類SQL編程語言也不盡相同。
分佈式計算框架的服務體系
並行數據挖掘
隨著待挖掘數據的數據結構由簡單到複雜、數據規模由小量到海量，數據挖掘軟件的發展也相應經歷了單機計算、集群計算、網格計算等幾個階段，目前已進入融合並行計算、分佈式計算和網格計算的雲計算時代。
雲計算技術保證了海量數據挖掘的精確性和高效性，具體體現在以下幾個方面：
( 1 )雲計算建立了虛擬存儲體系，實現了分佈式數據資源集中管理、統一管理;虛擬雲存儲管理系統的建立是為數據挖掘提供數據資源的有效保證。
(2)雲計算建立遷移策略和負載均衡體系。遷移策略體系考慮了數據傳輸對網絡負擔造成的影響和節點負載情況，並通過集中式管理，為海量數據挖掘提供效率保證。
(3)雲計算提供任務並行化管理，如建立並行任務通信機制、並行任務調度機制、並行任務失效恢復機制等，為並行數據挖掘提供有效性和高效性保證。
大數據的潛在價值
大數據技術在互聯網、電信、金融等行業發展迅速，已經達到了“數據就是業務本身”的地步，這體現了數據的社會化趨勢。
隨著雲計算技術的不斷髮展，數據本身成為新的資產。如果雲計算為數據資產提供了保管、訪問的場所和渠道，那麼如何使用雲中的數據資產，使其成為國家治理、企業決策乃至個人生活服務的決策依據，則是大數據要解決的核心問題，也是雲計算內在的靈魂和必然的升級方向。最早提出“大數據”時代已經到來的機構是全球知名諮詢公司麥肯錫，其於2011年5月發佈題為《大數據的下一個前沿:創新、競爭和生產力》的報告，通過深人調研指出“數據已經滲透到每一個行業和業務職能領域，逐漸成為重要的生產因素;而人們對於海量數據的運用預示著又-波生產率增長和消費者盈餘浪潮的到來”。
雲計算和大數據之間的關係也是一直困惑學術界的話題，在很多重大學術性會議中，這兩個概念也經常被相互替代或混淆。事實上，二者無論在技術上還是在應用上，都有著緊密的聯繫。二者的共同點是都面對海量數據的分析和處理，但是從廣義上看，雲計算是解決“如何算的問題”，大數據是解決“如何用的問題”;從狹義上看，雲計算本質上是一種計算方法，側重計算效能提升，通過虛擬化、分佈式、並行計算等多種技術手段，解決海量數據環境下的計算複雜性和時效性問題，而大數據本質上是一種信息價值獲取方式，側重數據的應用分析，採用數據存儲、數據處理、分析應用及數據展現等多個交叉學科技術，解決各種海量、異構、多模態數據的價值獲取問題。
由於篇幅過長，小編就不多做介紹了，小編相信大數據和雲計算已經在你們心中埋下了種子，所以呢，大家要讓這顆種子發芽，讓它茁壯成長，好好學習。
大家需要【雲計算中的大數據技術與應用】技術文檔的話，就可以轉發此文關注小編，私信小編“學習”來得到獲取方式吧。
大數據技術體系;
本篇介紹了雲計算和大數據的關係，大數據的存儲、處理、挖掘、可視化以及應用問題，從技術發展的角度詳細介紹了大數據的體系架構、關鍵技術,同時分析了大數據技術在電信領域、物聯網領域和企業市場的應用，並結合移動互聯網應用場景，分析了大數據的具體應用案例。隨著大數據市場的進一步發展，可能會有更多的技術和場景湧現。
閱讀更多 java程序員工程師 的文章
