大數據概念：大數據是近兩年提出來的，有三個重要的特徵：數據量大，結構複雜，數據更新速度很快。由於Web技術的發展，web用戶產生的數據自動保存、傳感器也在不斷收集數據，以及移動互聯網的發展，數據自動收集、存儲的速度在加快，全世界的數據量在不斷膨脹，數據的存儲和計算超出了單個計算機(小型機和大型機)的能力，這給數據挖掘技術的實施提出了挑戰（一般而言，數據挖掘的實施基於一臺小型機或大型機，也可以進行並行計算）。
數據挖掘概念: 數據挖掘基於數據庫理論，機器學習，人工智能，現代統計學的迅速發展的交叉學科，在很多領域中都有應用。涉及到很多的算法，源於機器學習的神經網絡，決策樹，也有基於統計學習理論的支持向量機，分類迴歸樹，和關聯分析的諸多算法。數據挖掘的定義是從海量數據中找到有意義的模式或知識。
大數據需要映射為小的單元進行計算，再對所有的結果進行整合，就是所謂的map-reduce算法框架。在單個計算機上進行的計算仍然需要採用一些數據挖掘技術，區別是原先的一些數據挖掘技術不一定能方便地嵌入到 map-reduce 框架中，有些算法需要調整。
大數據和數據挖掘的相似處或者關聯在於： 數據挖掘的未來不再是針對少量或是樣本化，隨機化的精準數據，而是海量，混雜的大數據，數據分析是指用適當的統計分析方法對收集來的大量數據進行分析，提取有用信息和形成結論而對數據加以詳細研究和概括總結的過程。這一過程也是質量管理體系的支持過程。在實用中，數據分析可幫助人們作出判斷。
分享到:
閱讀更多 互聯網爆點 的文章
