整理 | 屠敏
出品 | CSDN（ID:CSDNnews）
科技長河，順之者昌，錯失者亡。在這個技術百態之中，中國專業的 IT 社區CSDN 創始人&董事長蔣濤曾多次在公開活動中表示，開發者是對技術變革最敏感的人群。這不僅源於開發者、工程師創建了助力這個時代蛻變的工具，他們還極具前瞻性地締造了真實世界之外的虛擬、數字化世界。
當前，在 AI、物聯網、雲計算、大數據等技術編織的巨網下，不想錯失新的機遇，或許我們可以從已身在局中人的觀點及整體趨勢來汲取一二。
CSDN 最早從 2004 年開始針對中國開發者進行大規模調查，是迄今為止覆蓋國內各類開發者人群數量最多，輻射地域、行業分佈最廣的調查活動。在《2019-2020 年中國開發者調查報告》中，面向具備超強計算力的數字化世界，我們進行了「大數據技術應用現狀分析」，並發現：
2017 年，大數據企業驟增，目前已有 81% 的企業正在運用大數據技術進行應用開發；
大數據行業，中小型企業佔比較高；
私有云解決方案是企業大數據平臺構建的主要方式；
藉助大數據，開發者能夠實現更智能的決策；
大數據企業面臨的主要難點是“做大數據應用規劃”；
大數據時代，企業數據主要來源於企業內部；
Hadoop 社區正式發行版本開發者最受歡迎；
Spark 是使用最普遍的大數據平臺組件；
Redis 和 Kafka 是最普遍使用的消息隊列和數據採集技術組件。
大數據時代已至！
在全面雲化時代下，正如《大數據時代》的作者之一維克托教授所分享的，大數據的真實價值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，絕大部分都隱藏在表面之下。而發掘數據價值、征服數據海洋的“動力”就是雲計算。
在過去幾年間，很多人親眼見證並體驗到了這一點。根據調研數據顯示，我們發現在政府政策的驅動，以及算法、區塊鏈、雲計算等技術的成熟發展等多重因素下，自 2017 年起，應用大數據技術的企業出現迅速增長，截至目前，已有 81% 的企業正在運用大數據技術進行應用開發。
對於開發者/企業而言，大數據帶來的利好顯而易見。根據調研結果顯示，有 64% 的開發者表示應用大數據能夠實現更智能的決策；其次，54% 的開發者表示提升了運營效率；29% 的開發者表示其產品或運營決策大部分依賴A/B測試。
不過，從已從事大數據的企業中，我們發現有 78% 企業大數據團隊規模在 30 人以下，其中 5 人以下規模的團隊佔比為 37%，而 100 人以上較大團隊規模的僅有 5%。
從企業大數據團隊的規模來看，這意味著，諸多的企業在這一方面的投入仍處於初探或剛起步階段。
雲時代下的企業困境
中國有句老話，「萬事開頭難」。對於剛處於初次嘗試的大數據企業，面對需要具備強大的計算、分析、處理能力，萬事起步更難。在調研數據報告中，這一點也得到了證實。在很多開發者/企業在踏出第一步時，56% 的受訪者表示，「如何做大數據應用規劃」成為其面臨的主要難點，也成為影響企業大數據應用落地的最大障礙。此外，企業內部能夠勝任這方面工作的人才也較為缺乏，本次調研數據也說明，大數據人才的缺乏是企業構建大數據應用時遇到的普遍問題之一。
事實上，基於這一點，業界不少領軍企業也紛紛推出協作共贏計劃，旨在幫助更多的同行者，共建、共享、共享完善的技術生態。以華為為例，華為將以“鯤鵬+昇騰”為底座，在未來 5 年投入 105 億元（15億美元），構建“華為鯤鵬生態”。基於鯤鵬生態，各行各業可快速上手基於華為鯤鵬和昇騰處理器的 IT 基礎設施及行業應用，包括 PC、服務器、存儲、操作系統、中間件、虛擬化、數據庫、雲服務及行業應用等，在大數據與人工智能場景，發揮其架構優勢，釋放多元算力。
目前，華為雲已經擁有超過 4000 個鯤鵬生態合作伙伴。在“新基建” 34 萬億投資浪潮中，5G、人工智能、大數據中心和工業互聯網領域所產生的算力需求和國產化需求，讓華為鯤鵬生態充滿機遇，吸引更多企業級應用與 SaaS 服務對華為鯤鵬做兼容性適配。
私有云是諸多的企業的首要選擇
在井噴式爆發的信息之下，隨著雲計算技術的成熟及廣泛應用和出於對數據安全性的考慮，很多企業選擇了私有云解決方案來部署大數據應用，這一佔比在 2019 年達到了 50%。除了安全方面的考慮，不少企業也基於部署速度、彈性擴展、運維流程從而選擇了私有云。另外，也有 28% 的企業選擇自主研發來構建大數據平臺。
企業大數據平臺構建現狀
基於以上，當一部分企業正在著手做大數據應用規劃之際，部分企業開始將傳統的一些場景實現數據可視化。據調研數據顯示，目前大部分企業對大數據的應用更多體現在統計分析、報表及數據可視化上，佔比為 56%，相較於傳統的人工輸入統計分析，大數據的應用在很大程度上提高了效率並減少了勞動力。
其次，在機器或設備數據實時監控、告警與運維管理上，大數據應用也相對廣泛，佔 33%。隨後，大數據還應用於用戶畫像建模、個性化推薦與精準營銷中，佔 29%。
整體而言，當下企業大數據應用場景仍相對單一。
企業數據主要來源於企業內部的日誌數據，主要包括系統日誌和用戶行為日誌，根據本次調研數據顯示，此項佔 60%，其次，來自供應商或合作伙伴提供數據的佔 37%。
在數據規模上，據調研數據顯示，45% 的企業日均處理數據規模在 1TB 以下，1-10TB 的企業僅佔31%，日均處理數據規模在 10TB 以下的企業佔到七成。
本次調研中，55% 的企業大數據平臺集群規模擁有 20 個節點以上，其中 5% 的企業集群規模在 5000 個節點以上。
Spark、Redis、Kafka 成大數據開發者最喜愛的技術
據調查報告顯示，開發者仍以主流的技術為主。
數據庫：MySQL 穩居 Top1
在數據組織、管理、存儲方面，開發者使用最多的數據庫為 MySQL，據調研報告顯示，83% 的開發者在使用 MySQL 數據庫，這或許也與其開源的特性有關。相較之下，34% 的在使用 Oracle 數據庫，28% 的開發者在使用 Redis。
框架：Hadoop 社區正式發行版本最受歡迎
在大數據平臺的技術應用層面，除了 Java、Linux 等語言及命令之外，Hadoop 是大數據開發的重要框架，它主要以一種可靠、高效、可伸縮的方式進行數據處理。Hadoop 除了社區發行版，還有商業發行版，主要提供了更為專業的支持，這對於大型企業較為重要。
據調研報告顯示，僅 19% 企業使用商業發行版 Hadoop 版本搭建數據平臺，更多的企業主要是選用了社區正式發行版，佔比 34%。不過，也有 32% 的企業表示未使用 Hadoop 搭建數據平臺。
Spark 是使用最普遍的大數據平臺組件
作為專為大規模數據處理而設計的快速通用的計算引擎，Spark 是大數據開發者們必備的技能之一，它可以獨立運行，也可以在 Hadoop、 Mesos、雲端運行，它可以訪問各種數據源包括 HDFS、Cassandra、HBase 和 S3，可以提升 Hadoop 集群中的應用在內存和磁盤上的運行速度。Spark 生態系統中除了核心 API 之外，還包括其他附加庫，可以為大數據分析和機器學習領域提供更多的能力。
本次調研中，Spark 是使用最普遍的大數據平臺組件，使用率達到 44%。而 MapReduce 使用率僅為 21%。分佈式文件系統 HDFS 作為核心組件之一，使用率也達到了 39%。企業對大數據平臺應用最多的場景是統計分析、報表生成及數據可視化，38%企業使用ELK（ElasticSearch + Logstash + Kibana）實時日誌分析平臺。
Spark組件中，SparkSQL處理速度快並且能夠和 Hive 完全兼容，以 56% 的使用率排在使用 Spark 組件首位。Streaming、SparkR 使用率分別為27%、24%。
Redis 和 Kafka 是最普遍使用的消息隊列和數據採集技術組件
消息隊列中間件是分佈式系統中重要的組件，主要解決應用解耦、異步處理、流量削峰、消息通訊等 問題。Kafka 使用最為普遍，佔 42%。Redis 佔比為38%。其次為 ActiveMQ，佔比 28%。
開發者在全面雲化時代下的技術應用
在數字化世界中，技術不分家，如文章伊始所述，發掘數據價值、征服數據海洋的“動力”就是雲計算。在雲方面，據調研報告顯示，34% 的開發者用容器進行開發，33% 的開發者不使用容器技術。開發者基於雲上/瀏覽器 IDE 進行軟件開發的三要素，最普遍的是啟動速度快，操作便利性和桌面版 IDE 可以媲美。
在使用國產新架構平臺（如國產 AI 芯片、ARM 服務器芯片等）進行開發時，如果常用的軟件棧/開源組件/基礎庫/加速庫缺乏對應的適配，28% 的開發者會選擇與廠家聯合開發相應適配。此外，在對比 ARM 架構的 CPU 和 x86 系列的 CPU 時，很多受訪者選擇 ARM 架構的最核心原因方面，除了價格、兼容性之外，有 13% 的開發者認為是 ARM 架構具備多核分佈式優勢。
在這一點上，華為發佈的具有高性能、高吞吐、高集成等特性的鯤鵬處理器，也在 ARM 生態的基礎上，針對大數據、分佈式存儲、數據庫、原生應用和雲服務等優勢場景進行了深度優化。其中在大數據場景下，華為鯤鵬的多核高併發高度匹配海量數據處理需求的能力，可在性能上提升 30%，同時節省空間和功耗。
如何搶佔大數據的“風口”？
綜上，時鐘運轉，大數據已逐步從概念延伸到了科學和商業領域，並在各種信息數字化的趨勢下，早已不再是一門單一的學科。對此，墨爾本大學講師宮明明點評道，「目前大數據的發展熱潮令人歡欣鼓舞。企業要想真正從數據中獲益而不是盲目跟風，首先需要建立優秀的大數據人才團隊。正所謂將不在多而在精，一個優秀的大數據團隊，需要有對產品開發具有高敏感性同時對技術有一定理解的人才，同時需要理論基礎極其紮實，能對實際問題進行抽象建模和算法設計的人才。只有雙管齊下，在產品和技術方面進行深層次探索，才能真正實現大數據產業的繁榮。」
版權聲明：《2019 - 2020 中國開發者調查報告》版權屬於 CSDN，轉載、摘編或利用其他方式使用本調查報告文字或觀點應註明來源。
閱讀更多 AI科技大本營 的文章
