隨著雲時代的來臨, 大數據也吸引了越來越多的關注。大數據是近年來IT行業的熱詞, 大數據在各個行業的應用逐漸變得廣泛起來, 如每年的兩會, 我們聽得最多的也是大數據分析, 那麼, 什麼是大數據呢?
對於大數據的定義, 百度百科給出了這樣的答案, 它認為, 大數據是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。大數據具有數據量大、數據種類多、要求實時性強、數據所蘊藏價值大的特點。在以雲計算為代表的技術創新大幕的襯托下, 這些原本看起來很難收集和使用的數據開始容易被利用起來了, 通過各行各業的不斷創新, 大數據會逐步為人類創造更多的價值。
最早提出大數據時代已經到來的機構是全球知名諮詢公司麥肯錫。麥肯錫在研究報告中指出, 數據已經滲透到每一個行業和業務職能領域, 逐漸成為重要的生產因素;而人們對於海量數據的運用將預示著新一波生產率增長和消費者盈餘浪潮的到來。
大數據技術的戰略意義不在於掌握龐大的數據信息, 而在於對這些含有意義的數據進行專業化處理。換而言之, 如果把大數據比作一種產業, 那麼這種產業實現盈利的關鍵, 在於提高對數據的“加工能力”, 通過“加工”實現數據的“增值”。
大數據必然無法用人腦來推算、估測, 或者用單臺的計算機進行處理, 必須採用分佈式計算架構, 依託雲計算的分佈式處理、分佈式數據庫、雲存儲和虛擬化技術, 因此, 大數據的挖掘和處理必然用到雲技術。大數據分析常和雲計算聯繫到一起, 因為實時的大型數據集分析需要像Map Reduce一樣的框架來向數十、數百或甚至數千的電腦分配工作。大數據離不開雲處理, 雲處理為大數據提供了彈性可拓展的基礎設備, 是產生大數據的平臺之一。自2013年開始, 大數據技術已開始和雲計算技術緊密結合, 預計未來兩者關係將更為密切。
總的來說, 大數據是對大量、動態、能持續的數據, 通過運用新系統、新工具、新模型的挖掘, 從而獲得具有洞察力和新價值的東西。大數據的4個“V”有四個層面:第一, 數據體量巨大。從TB級別, 躍升到PB級別。第二, 數據類型繁多。有網絡日誌、視頻、圖片、地理位置信息等等。第三, 價值密度低。以視頻為例, 連續不間斷監控過程中, 可能有用的數據僅僅有一兩秒。第四, 處理速度快。1秒定律。最後這一點也和傳統的數據挖掘技術有著本質的不同。物聯網、雲計算、移動互聯網、車聯網、手機、平板電腦、PC以及遍佈地球各個角落的各種各樣的傳感器, 無一不是數據來源或者承載的方式。
隨著大數據的快速發展, 就像計算機和互聯網一樣, 大數據很有可能是新一輪的技術革命。隨之興起的數據挖掘、機器學習和人工智能等相關技術, 可能會改變數據世界裡的很多算法和基礎理論, 實現科學技術上的突破。
想要系統地認知大數據, 必須要全面而細緻地分解它, 這可從三個層面來展開:
第一層面是理論, 理論是認知的必經途徑, 也是被廣泛認同和傳播的基線。可從大數據的特徵定義理解行業對大數據的整體描繪和定性;從對大數據價值的探討來深入解析大數據的珍貴所在;從大數據隱私這個特別而重要的視角審視人和數據之間的長久博弈。
第二層面是技術, 技術是大數據價值體現的手段和前進的基石。可分別從雲計算、分佈式處理技術、存儲技術和感知技術的發展來說明大數據從採集、處理、存儲到形成結果的整個過程。
第三層面是實踐, 實踐是大數據的最終價值體現。可分別從互聯網的大數據、政府的大數據、企業的大數據和個人的大數據4個方面來描繪大數據已經展現的美好景象及即將實現的藍圖。
現在的社會是一個高速發展的社會, 科技發達、信息流通, 人們之間的交流越來越密切, 生活也越來越方便, 大數據就是這個高科技時代的產物。阿里巴巴創始人馬雲在演講中就提到, 未來的時代將不是IT時代, 而是DT的時代, DT就是Data Technology數據科技, 顯示大數據對於今後發展來說舉足輕重。
有人把數據比喻為蘊藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類, 而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似, 大數據並不在“大”, 而在於“有用”。價值含量、挖掘成本比數量更為重要。對於很多行業而言, 如何利用這些大規模數據是贏得競爭的關鍵。
大數據在各行各業都有很大的應用需求, 譬如電信行業、互聯網行業等等容易產生大量數據的行業, 很多傳統行業, 譬如醫藥、教育、採礦、電力等等任何行業, 都如此。不同行業的數據有不同的自身特點, 還需要結合自身的行業知識才能把大數據轉換為價值
中國一直很重視大數據發展, 經李克強總理籤批, , 國務院印發《促進大數據發展行動綱要》, 系統部署大數據發展工作。《綱要》明確, 推動大數據發展和應用, 在未來打造精準治理、多方協作的社會治理新模式, 建立運行平穩、安全高效的經濟運行新機制, 構建以人為本、惠及全民的民生服務新體系, 開啟大眾創業、萬眾創新的創新驅動新格局, 培育高端智能、新興繁榮的產業發展新生態。
閱讀更多 科普公交車 的文章
