微笑琳----
您好!我是
數據僧!以下是我的理解,不對之處還望多多指教!“大數據”中的就包含了兩層含義。
何為大?
第一層 大,是指數據很多,量很大。
近年來,隨著互聯網和智能硬件的快速普及,數據以爆炸方式增長。全球數據總量增長率將維持在50%左右;到2020 年,全球的數據總量將達到40ZB。
第二層 大,是指數據的相互關係更加複雜,多樣,有連續性
隨著智能手機的普及,網絡的發展3G/4G/5G,人與人的連結,人與物的連結,物與物的連結 變得越來越容易。隨之產生的數據,也更加複雜。
截至2016 年,我國手機網民數量已近7.0億,佔整體網民數量的95.1%。
2016 年中國移動互聯網用戶每日在線時長超過2,500百萬小時,同比增長率超過30%。手機網民持續增長,使得大數據採集群體更加廣泛;移動端使用時長增加,信息採集更加豐富連貫;場景化特徵為大數據發展帶來新契機。
何為數據?
人類在互聯網上產生的所有數據,基本衣、食、住、行;以及其它各種負責的商業活動等等,最終在計算機留下的只有0,1。
這些0,1 卻包含著很多的關聯性。僅僅通過傳統的計算機處理手段,已經無法做到及時發現,及時更新,及時下結論。所以圍繞著大數據 產生了相關的技術,挖掘手段,應用場景,更加方便幫助人們生活、工作。
在另外一個層面講 大數據值得是圍繞著大數據的整個數據處理產業。
目前全球大數據市場中,行業解決方案、計算分析服務、存儲服務、數據庫服務和大數據應用為市場份額排名最靠前的細分市場,分別佔據 33.0%、14.7%、17.2%、15.2% 和 7.1% 的市場份額。
以上就是我對大數據的理解,歡迎來找
數據僧 一起探討大數據相關的問題。數據僧
首先大數據是有什麼類型或者特點呢
第一個是:種類多,什麼結構化,非結構化的數據都有
第二個是:量多,現在是信息過載的時代,你瀏覽一下網頁,點擊一個鼠標都會產生一個軌跡數數據
第三個是:速度快,每一秒都產生巨大的數量
基於上面幾個特點,而當前處理數據的主要是關係型數據庫如SQL Mysql等,非關係型有包括有MongoDB等。而大數據的出現是為了解決這些技術無法處理的問題包括:
我用表格列出如下:
1) 數據集成能力:提供從關係型數據庫、文本文件與分佈式文件系統的雙向導入導出能力,並能夠進行定時調度;
2) 分佈式存儲能力:基於分佈式文件系統,提供分佈式數據倉庫和分佈式數據庫能力,為海量數據存儲提供基礎;
3) 分佈式緩存能力:為MapReduce、Spark等各種計算框架提供緩存,進一步提升數據處理效率;
4) 分佈式計算能力:提供離線計算、流計算、交互式查詢、機器學習等常見的計算場景。
5) 管理監控能力:提供作業調度、數據管理、運維監控等能力;
6) 數據開放能力:為上層數據應用提供統一數據訪問API;
通過上述的大數據平臺,為各個對象,各個行業,從海量的數據中找到需求者需要的數據,為他們提供有有價值的數據用於決策等