大數據開發最核心的課程就是Hadoop框架，幾乎可以說Hadoop就是大數據開發。這個框架就類似於Java應用開發的SSH/SSM框架，都是Apache基金會或者其他Java開源社區團體的能人牛人開發的貢獻給大家使用的一種開源Java框架。
Java語言是王道就是這個道理，Java的核心代碼是開源的，是經過全球能人牛人共同學習共同研發共同檢驗的，所以說Java是最經得住檢驗的語言，而且任何人都可以學習Java核心技術並且使用核心技術開發出像android一樣的系統和Hadoop一樣的框架。如果把編程的世界比作一棵樹，那麼Java是根，SSH和Hadoop這樣的框架都是它開得枝散得葉。
由於大數據開發工程師是目前IT培訓界最熱門的專業，大數據技術人才是引領智能革命的弄潮兒，是智能時代最直接的受益者，這麼重要的專業科多一定要給大家講解的詳細透徹，以Hadoop生態圈為主，介紹目前大數據應用級開發工程師在工作當中所用到的全部技術，建議大家在學習大數據開發工程師專業之前，要有一定的Java基本語法和框架的學習經驗。
科多大數據的零基礎課程包含java+大數據開發兩個部分，提高課程針對有java開發經驗的朋友只包含大數據部分。因為根據前面的介紹你應該知道了，大數據的學習是需要一定的java基礎的。
推薦下我自己建的大數據學習交流群:957205602，群裡都是學大數據開發的，如果你正在學習大數據 ，小編歡迎你加入,大家都是軟件開發黨，不定期分享乾貨（只有大數據軟件開發相關的），包括我自己整理的一份最新的大數據進階資料和高級開發教程，歡迎進階中和進想深入大數據的小夥伴加入。
開源的Hadoop大數據開發平臺
hadoop是一個能夠對大量數據進行分佈式處理的軟件框架，hadoop以一種可靠、高效、可伸縮的方式進行數據處理，用戶之所以可以輕鬆的在hadoop上開發和運行處理海量數據的應用數據，是因為hadoop具有高可靠性、高擴展性、高效性、高容錯性等優點。
hadoop大數據生態系統：
分佈式文件系統-HDFS
提起hadoop文件系統，首先想到的是HDFS（Hadoop Distributed File System），HDFS是hadoop主要的文件系統，是Hadoop存儲數據的平臺，建立在網絡上的分佈式存儲系統。hadoop還集成了其他文件系統，hadoop的文件系統是一個抽象的概念，HDFS只是其中的一種實現。
分佈式計算框架-MapReduce
MapReduce是一種編程模型，是Hadoop處理數據的平臺。用於大規模數據集（大於1TB）的並行運算。概念"Map（映射）"和"Reduce（歸約）"，和它們的主要思想，都是從函數式編程語言裡借來的，還有從矢量編程語言裡借來的特性。它極大地方便了編程人員在不會分佈式並行編程的情況下，將自己的程序運行在分佈式系統上。
分佈式開源數據庫-Hbase
HBase – Hadoop Database,HBase是一個分佈式的、面向列的開源數據庫。適合於非結構化數據存儲，保留數據多個時間段版本。Hbase極大的方便擴展了Hadoop對於數據的處理和應用。
大數據開發平臺模塊生態圈
Hive
Hive是基於Hadoop的一個數據倉庫工具，處理結構化SQL查詢功能。可以將結構化的數據文件映射為一張數據庫表，並提供簡單的sql查詢功能，可以將sql語句轉換為MapReduce任務進行運行並提交到集群上去執行。 其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapReduce統計，不必開發專門的MapReduce應用，不用使用Java編程，十分適合數據倉庫的統計分析。
學習Hive時，對於Hive QL中的DDL和DML就是必須要掌握的基礎；表的定義、數據導出以及常用的查詢語句的掌握是完成大數據統計分析的基礎。學會針對Hive進行編程：使用Java API開操作Hive、開發Hive UDF函數。掌握好Hive部分高級的特性能大大提升Hive的執行效率。在優化過程中可以很好的藉助於執行計劃來進行分析，學習Hive時需要注意Hive性能優化是在生產中的最重要的環節，如何解決數據傾斜是關鍵；梳理清楚Hive元數據各個表之間的關聯關係也能提升對Hive的把握能力。
Zookeeper協調Hadoop生態圈各個模塊共同工作
從英文含義上來看Hadoop是小象，Hive是蜜蜂，pig是豬，Zookeeper是動物管理員。那麼很顯然Zookeeper的作用是分佈式應用程序協調服務，為各個模塊提供一致性服務的。
數據導入導出框架Sqoop
Sqoop是一款開源的工具，英文含義是象夫，就是餵養大象的人，主要用於在Hadoop(Hive)與傳統的數據庫(mysql、postgresql...)間進行數據的傳遞，可以將一個關係型數據庫中的數據導進到Hadoop的HDFS中，也可以將HDFS的數據導進到關係型數據庫中。
學習目標：
1.瞭解Sqoop是什麼、能做什麼及架構 ；
2.能夠進行Sqoop環境部署 ；
3.掌握Sqoop在生產中的使用 ；
4.能夠使用Sqoop進行ETL操作 。
Scala編程開發
Scala是一種函數式面嚮對象語言，類似於RUBY和GROOVY語言，它無縫結合了許多前所未有的特性形成一門多範式語言，其中高層併發模型適用於大數據開發。而同時又運行於JAVA虛擬機之上。
Spark
Spark是目前最流行的大數據處理框架，以簡單、易用、性能卓越著稱。豐富的程序接口和庫文件也使得Spark成為業內數據快速處理和分佈式機器學習的必備工具。
*擴展技能：
python開發基礎、數據分析與數據挖掘
學習數據挖掘工具Sklearn，熟悉數據挖掘樸素貝葉斯算法和數據挖掘SVM分類算法，並且最終使用Sklearn實現貝葉斯以及SVM算法 。
Storm大數據分佈式實時計算
Storm是分佈式數據處理的框架，Storm可以方便地在一個計算機集群中編寫與擴展複雜的實時計算，Storm用於實時處理，就好比 Hadoop 用於批處理。如果說MapReduce降低了並行批處理複雜性，Storm是降低了進行實時處理的複雜性。
閱讀更多 微笑數據工程師 的文章
