瞭解更多大數據技術點擊文章末尾“瞭解更多”
一、大數據
1、什麼是大數據？
大數據（Big data或Megadata）：大數據，或稱巨量數據、海量數據、大資料，指的是所涉及的數據量規模巨大到無法通過人工，在合理時間達到截取、管理、處理、並整理成為人類所能解讀的形式的信息。
2、大數據特點
①Volume：數據量大，包括採集、存儲和計算的量都非常大。大數據的起始計量單位至少是P（1000個T）、E（100萬個T）或Z（10億個T）。
②Variety：種類和來源多樣化。包括結構化、半結構化和非結構化數據，具體表現為網絡日誌、音頻、視頻、圖片、地理位置信息等等，多類型的數據對數據的處理能力提出了更高的要求。
③Value：數據價值密度相對較低，或者說是浪裡淘沙卻又彌足珍貴。隨著互聯網以及物聯網的廣泛應用，信息感知無處不在，信息海量，但價值密度較低，如何結合業務邏輯並通過強大的機器算法來挖掘數據價值，是大數據時代最需要解決的問題。
④Velocity：數據增長速度快，處理速度也快，時效性要求高。比如搜索引擎要求幾分鐘前的新聞能夠被用戶查詢到，個性化推薦算法儘可能要求實時完成推薦。這是大數據區別於傳統數據挖掘的顯著特徵。
⑤Veracity：數據的準確性和可信賴度，即數據的質量。
二、數據倉庫
1、什麼是數據倉庫？
在計算中，數據倉庫（DW或DWH）也稱為企業數據倉庫（EDW），是用於報告和數據分析的系統，被視為商業智能的核心組件。DWs從一個或多個不同源的綜合數據的中央儲存庫。他們將當前和歷史數據存儲在一個地方，用於為整個企業的工作人員創建分析報告。
2、數據倉庫兩種操作方式的特點
①在線分析處理（OLAP）的特點是交易量相對較低。查詢往往非常複雜，涉及到聚合。對於OLAP系統，響應時間是一種有效性度量。數據挖掘技術廣泛使用OLAP應用程序。OLAP數據庫以多維模式（通常為星型模式）存儲彙總的歷史數據。與數據集市相比，OLAP系統通常具有數小時的數據延遲，而數據集市預計延遲將接近一天。OLAP方法用於分析來自多個來源和視角的多維數據。OLAP中的三個基本操作是：總結（合併），鑽取和切片和切塊。
②聯機事務處理（OLTP）的特點是大量短暫的在線事務（INSERT，UPDATE，DELETE）。OLTP系統強調非常快速的查詢處理並保持多訪問環境中的數據完整性。對於OLTP系統，有效性以每秒交易次數來衡量。OLTP數據庫包含詳細和當前的數據。用於存儲事務數據庫的模式是實體模型（通常是3NF）。規範化是對在該系統中數據建模技術的規範。
三、ETL與
DM的區別ETL/Extraction-Transformation-Loading——用於完成DB到DW的數據轉存，它將DB中的某一個時間點的狀態，“抽取”出來，根據DW的存儲模型要求，“轉換”一下數據格式，然後再“加載”到DW的一個過程，這裡需要強調的是，DB的模型是ER模型，遵從範式化設計原則，而DW的數據模型是雪花型結構或者星型結構，用的是面向主題，面向問題的設計思路，所以DB和DW的模型結構不同，需要進行轉換。
DM/Data Mining/數據挖掘——這個挖掘，不是簡單的統計了，他是根據概率論的或者其他的統計學原理，將DW中的大數據量進行分析，找出我們不能直觀發現的規律。
四、Hadoop
1、什麼是Hadoop？
維基百科上面，Hadoop的定義是：一個用java語言編寫的便於大型數據集合的分佈式儲存和計算的軟件框架。簡單來說，這是計算機領域的一個開源軟件，任何程序開發者都可以看到它的源代碼，並且進行編譯。它的出現讓大數據的儲存和處理一下子變的快了很多，也便宜了很多。
2、Hadoop特點是什麼？
①高效率（Efficient）：分佈式雲計算，採用標準x86架構服務器大規模集群實現，每個模塊都是一個離散的處理單元，使用並行計算技術，及群內各計算節點負載均衡，當某節點負荷過高時，可智能的將負荷轉移到其他節點，並支持節點線性平滑擴展；分佈式雲存儲，採用x86服務器的本地硬盤實現，使用分佈式文件系統，每份數據至少保存在3個節點，保證存儲設計的性能和可靠性目標。
②可靠性（Reliable）：能搞自身的維護數據的多個成本，並且在任務失敗是自動的重新部署計算任務
③可擴容性（Scalable）：能可靠的儲存和處理PB級的數據
④成本低（Economical）：可以通過普通機器組成的服務器群來分發以及處理數據。這些服務器群總計可達數千個節點。
大數據相關的知識點還有很多很多，而且在學習過程中，會有很多的實戰技術需要不斷的去練習。這就需要我們拿出不一樣的狀態對學習瞭解大數據相關的技術、知識、要點
閱讀更多 米皮946 的文章
