大數據終將主宰經濟社會,消除個體差異,成就一元化的經濟體系。網絡經濟時代,人們在經濟社會中的諸種活動通過網絡賬戶體系來實現,這些活動也就是所謂的網絡賬戶活動,其基本內容更多地體現為賬戶間的關係。這些賬戶活動及其賬戶關係是由數字網絡程序所設定的、驅動的,且被實時地記錄下來。這就形成了所謂的“大數據”。因此,大數據來源於大量的網絡賬戶的活動及其有效的記錄,簡言之,大數據是網絡賬戶數據。
具體學習路線圖如下:
第一階段 Java語言基礎階段
1.1 Java編程語言基本概述
1.2 Java基礎語法
1.3 面向對象編程
1.4 面向對象高級編程
1.5 Java中的常用類庫
1.6 枚舉和異常類
1.7 Java數據結構和集合框架泛型
1.8 Java中的IO流
1.9 Java中的多線程
1.10 Java中網絡編程和反射
1.11 Java8新特性
1.12 Java基礎加強
第二階段 Linux系統&Hadoop生態體系
01 Linux入門
02 常用基本命令
03 系統管理
04 Linux操作增強
05 Linux shell編程
06 Hadoop生態
07 分佈式系統概述
08 Hadoop入門
09 Hadoop偽分佈式
10 Hadoop全分佈式
11 HDFS基本概念
12 HDFS的應用開發
13 HDFS的IO流操作
14 NameNode工作機制
15 DataNode工作機制
16 Zookeeper入門
17 Zookeeper詳解
18 HA框架原理
19 Hadoop-HA集群配置
20 MapReduce框架原理
21 Shuffle機制
22 Mapreduce案例一
23 Mapreduce案例二
24 Hive入門
25 Hive DDL數據定義
26 Hive分區表
27 Hive分桶表
28 Hive查詢
29 Hive的高級查詢Join與排序
30 Hive的函數
31 Hive DML數據管理
32 Hive文件存儲
33 Hive企業級調優
34 Hive企業級調優二
35 Hive企業級項目實戰
36 Flume詳解
37 Sqoop詳解
38 Hbase概念
39 Hbase的操作
40 Hbase整合
41 Hbase的實戰和優化
第三階段 分佈式計算框架
3.1 scala
3.2 Spark Core
3.3 Spark SQL
3.4 Spark Streaming
3.5 kafka
3.6 ElasticSearch
3.7 Logstash
3.8 Kibana
3.9 Kibana
第四階段 大數據實戰項目
4.1 互金領域-廣告投放
項目介紹:構建廣告投放平臺,進行廣告投放業務,吸引潛在客戶,推廣產品,包含投放微服務平臺、競價模塊、客戶群體畫像、 千人千面推薦產品。
4.2 電商平臺
項目介紹: 埋點業務,進行用戶細分畫像、建立信用體系、進行線上各類活動。
4.3 共享單車
項目介紹: 依據用戶行為軌跡構成出行規律,根據用戶群體出行規律、區域情況等動態調度用車情況。
4.4 工業大數據
項目介紹:國家電網_省級輸/變電監控項目:監控線路的傳感設備,確保設備安全、降低故障成本,動態監控線路、變電站二次設備工作情況、報警自動化。
4.5 交通
項目介紹:貴州交通廳,交通離線/實時監控項目:通過交通卡口採集實時數據,動態監控全省各道路通行和事故狀況,避免擁堵、避免交通事故、 精準測速、防止套牌和提供便捷最佳出行方案、 預測擁堵係數,為各級提供最優道路規劃方案。
4.6 旅遊
項目介紹:安順智慧旅遊,整合各類旅遊相關應用系統及信息資源,在公安、交通、工商等相關領域實現信息共享、協同合作,共同打造良性的旅遊雲生態系統。
4.7 醫療
項目介紹:某市人民醫院,隨著老年化的持續增加,患病率越來越高。增加大數據平臺,採集醫療相關數據,提高診斷的準確性,預防一些疾病的發生,監控相關病情康復進展,真正實現解決看病難,降低發病率等。
第五階段 大數據分析
5.1 Data Analyze數據分析基礎
5.2 工作環境準備
5.3 數據可視化的概念與準則
5.4 Python機器學習
5.5 選擇模型
5.6 構建樹的過程
5.7 網格搜索
5.8 sklearn中有三類樸素貝葉斯算法
5.9 顏色特徵
5.10 手寫數字識別
5.11 文本的基本組成
5.12 文本的基本組成
大數據人才高度缺乏,人才需求量大。IT裡面有很多職位可以選擇,為什麼要選擇進入大數據圈子?原因正是大數據的光明前景,大數據風口在這裡。學習大數據技術就在此刻!
閱讀更多 杭州千鋒 的文章