從2010年至今，大數據投資熱潮與大數據崗位開始集中爆發。從360指數我們可以看出，目前大數據在市場的熱度遠遠高於前幾年特別火的產品經理。
大數據之火熱，以致身邊很多人對於大數據相關熱門趨勢及詞彙都能隨口就來。但如果問他大數據和他之間的關係，卻很難能說出一二三來。
究其原因，大家置身於大數據環境下，耳濡目染各種新的概念，但是真正參與實踐大數據的案例少之又少，造成了對大數據整體認知的缺失。
下面講講大數據行業不同角色對大數據的觀點，希望能夠還原出來一個較為全面的認識，瞭解不同角色對大數據的需求背景。
大數據開發
2010開始，大數據成為了分佈式技術框架的別名，Hadoop開始頻繁進入大家眼中，從此以後，hive，spark，flink等分佈式計算框架如雨後春筍進入大家的開發工作環境中（當然大數據的薪資也開始水漲船高，遠遠高於其他同類開發）。
那麼在大數據開發的眼中，大數據應該是長這樣的：
- 第一：數據體量巨大。大數據的起始計量單位至少是P（1000個T）、E（100萬個T）或Z（10億個T）；
- 第二：數據類型繁多。比如，網絡日誌、視頻、圖片、地理位置信息等等；
- 第三：需要不同的框架解決不同的問題。
在大數據開發眼裡，大數據是一堆框架的集合。
數據分析及算法工程師
隨著大數據技術的發展，傳統基於關係型數據庫的BI底層逐步被大數據替代。
數據採集全面進入線上化，公司開始全量採集線上數據，全量存儲用戶行為數據作為分析數據源。傳統的基於抽樣的統計方式逐步被全量統計方式替換，原有技術框架支持不了的用戶行為分析也逐步成為大數據分析場景的標準流程，基於單機的數據挖掘算法逐步被替換成分佈式的機器學習和深度學習替代。
在分析師和算法工程師眼裡，數據又表現為如下幾個方面：
- 第一：數據記錄全面，能夠分析的場景越來越多；
- 第二：數據價值密度很低、挖掘難度變大；
- 第三：單機無法解決，需要藉助大數據相關工具。
在他們眼裡，大數據意味著更多的場景可以被分析量化。
數據產品經理
隨著工具及算法的逐步完成，基於大數據做到千人千面的推送及定價方案已經成為可能。
有一個非常經典的案例：為提高在主營產品上的贏利，亞馬遜在2000年9月中旬開始了著名的差別定價實驗。
亞馬遜選擇了68種DVD碟片進行動態定價試驗，試驗當中，亞馬遜根據潛在客戶的人口統計資料、在亞馬遜的購物歷史、上網行為以及上網使用的軟件系統確定對這68種碟片的報價水平。例如，名為《泰特斯》（Titus）的碟片對新顧客的報價為22.74美元，而對那些對該碟片表現出興趣的老顧客的報價則為26.24美元。
通過這一定價策略，亞馬遜提高了銷售的毛利率。在此我們不考慮這個定價策略是否妥當，但是大數據技術的確已經驗證可以為企業帶來更多的收益。
在產品經理眼裡，我們發現了另外一種大數據的看法：
大數據意味著更好的產品優化及產品收益已經成為可能，至於具體的技術細節和算法，並不是他們關注的點。
當然，除了如上三個崗位，其實還有很多大數據相關的配套崗位，他們對大數據亦有各自的理解。
但是如果作為一個企業落地大數據項目，我們唯一需要綜合考慮的是如何在最低投入的情況下，保證長期與短期效益的均衡，舉個例子來說：
1、 如果過分重於技術，會導致技術費用投入過大， 成本急劇放大
2、 如果過分重於分析，缺乏有效產品整合的話，可能犧牲長期效應
3、 過分重於產品的話，投入較長的時間產品化，可能犧牲短期收益
為了平衡三個崗位偏差造成的需求差異，大數據架構師、數據科學家相關崗位應運而生。
與傳統商業智能領域類似，大數據架構師及數據科學家需要解決的核心問題還是如何構建一套穩定高效的大數據技術組件下的數據倉庫。
我從落地的多個企業級大數據項目總結出，設計一個高效可靠的數據倉庫會成為一個企業大數據項目成敗的最關鍵因素。
除了大數據倉庫之外，大數據架構的設計思路也很重要。
最後說一下，想要學習大數據的限時領取免費資料及課程
領取方法：
還是那個萬年不變的老規矩
1.評論文章，沒字數限制，一個字都行！
3.私信小編：“大數據開發教程”即可！
謝謝大家，祝大家學習愉快！（拿到教程後一定要好好學習，多練習哦!)
閱讀更多 微笑數據工程師 的文章
