毋庸置疑，現如今是屬於大數據（Big Data）的，革命性的時代。從社交媒體到企業，每時每刻都在產生大量的數據。無所作為，從而把這樣的寶藏白白浪費掉是及其愚蠢的。企業已經學會了收集大數據以獲取更高的利潤，並提供更好的服務以及更深入地瞭解其目標客戶。
大數據主要是指企業中日常生成的，大量的有組織以及無組織的數據。在這種情況下，組織如何處理這些數據，與數據量是無關的。對大數據分析可以產生改善戰略商務決策（Strategic business decision-making）的洞察力。
大數據的重要性
如前所述，大數據的價值不在於您擁有多少信息，而在於您要如何利用它。您可以從任何一個點收集數據（並對其進行檢查），以找到下面四種情況的解決方案：
- 物價回降（Price reductions）
- 時間縮減（Time reductions）
- 新產品開發，以及改進產品
- 做出明智的判斷
當您耗費大量精力分析聚合大數據時，下面這些業務關聯的任務就可能實現：
- 實時識別故障原因、問題以及缺陷。
- 根據客戶的購買歷史，在銷售端（Point-of-sale）生成憑證（Voucher）。
- 在幾分鐘內計算出特定功能的全部風險。
- 在欺騙行為影響到您的組織之前，將其檢測出來。
圖1. 大數據基礎結構
大數據實例
汽車行業：福特現代混合動力車型 Fusion，它每小時產生高達 25GB 的數據。這些數據可以用於解釋駕駛習慣和駕駛模式，以預防意外事故，轉向碰撞等情況。
娛樂：電子遊戲行業每天都在使用大數據技術來檢查超過 500GB 的有組織數據，以及 4TB 的功能性積壓（Functional backlogs）。
社交媒體效應：每天，社交媒體網站 Facebook 的數據庫中都會增加大約 500TB 的新數據。
大數據類型
大數據可以分為以下三大類。
1. 結構化：可以以固定數據格式存儲、處理和改進的數據稱為結構化數據。隨著時間的推移，如今計算機科學已經能夠開發使用這些數據的方法，並從中獲得價值。不過近來我們正預測與龐大數量的這類數據相關的問題，這些數據量將成為 ZB（10 億 TB 等於 1ZB）級別的。
2. 非結構化：非映射（Unmapped）形式的數據稱為非結構化數據。如何從大量的非結構化數據中獲取價值，這其中充滿挑戰。例如，包含了簡單文本文件、圖片、音頻，以及視頻錄像之集合的異構數據源（Heterogeneous data source），這些數據將難以進行分析。當下，組織擁有大量可用的數據，但不幸的是，他們並何從下手以提取數據的價值，因為這些數據是未經處理的形式。
3. 半結構化：這可以包含兩種形式的數據。另外，我們可以將半結構化數據視為一種形式上的結構，但實際上數據本身並未定義。例如，XML 文件中所描述的數據。
大數據的四個 "V" 值
一些共同特徵如圖 2 所示。
1. 體積（Volume）：數據量是決定大數據價值的重要因素。因此，體積是處理大數據時需要考慮的一個屬性。
2. 種類（Variety）：指的是各種數據源以及數據的性質，這其中既有結構的，也有非結構化的。曾經，電子表格和數據庫是大多數實際應用中唯一考慮的數據來源。但現在，調查應用中還會考慮到電子郵件，圖片，錄音，以及監控設備等形式的數據。
3. 速率（Velocity）：該術語是指 “數據是如何迅速生成的”。數據創建和提煉的速率要有多快，才能滿足特定需求，這決定了它的真正潛力。大數據的速率是數據從業務流程、應用程序日誌、網站等來源流出的速度。大數據流動的速度非常高，幾乎從不間斷。
大數據架構
大數據架構包含一致的、可擴展的，以及完全計算機化的數據管道（Data pipelines）。構建這種基礎架構需要具有深入瞭解堆中的每一層的能力，即從集群設計（Cluster design）開始，直到設置負責處理數據的頂級鏈（Top chain）。圖 3 展示了堆棧的複雜性以及數據管道工程如何觸及其每個部分。
在圖 3 中，數據管道收集原始數據並將其轉化為有價值的東西。同時，大數據工程師必須計劃好數據會發生什麼情況，數據存儲在集群中的方式，內部許可的訪問方式，用於處理數據的設備，以及提供給外界訪問的模式。那些設計和實現這種架構的人被稱為大數據工程師。
大數據技術
眾所周知，大數據的主題非常廣泛，並且滲透到了許多新技術的發展中。以下對一些技術的概述旨在幫助用戶對大數據進行改造。
1. MapReduce（映射化簡）：這使得任務的實現具有能夠跨越數千臺服務器的可擴展性。
- Map： 將輸入數據集轉換為一組不同的值。
- Reduce： 將 Map 任務的輸出聯合起來，形成一組簡化的值。
2. Hadoop：這是 MapReduce 最令人欽佩的執行方式，它是一個完全開源的處理大數據的平臺。Hadoop 足夠靈活，它能夠處理多種數據源，例如聚合數據以進行大規模處理，從數據庫讀取數據等。
大數據處理的優勢
處理大數據的能力具有多種益處。
1. 企業可以在進行決策時利用外腦（Outside brainpower）：使用來自搜索引擎以及 Facebook 和 Twitter 等網站的社交數據的權利，可以幫助企業改進商務戰略。
2. 增強客戶服務：客戶響應系統正在被使用了大數據技術的新系統所取代。在這些新系統中，大數據技術用於理解與評估消費者的反應。
3. 在早期識別服務風險：可以事先識別風險因素，以提供完美的數據。
閱讀更多 愛編程的南風 的文章
