TechRepublic報道，根據Qubole（數據分析自動化平臺）和Dimensional Research（維度研究）週二發佈的報告，大數據繼續在所有行業中快速增長。組織正在使用大數據來推動IT項目，改善銷售並增強客戶服務。他們越來越多地利用大數據框架來獲得所收集信息的全部價值。
在調查了大型企業負責大數據的401名數據專業人員之後，該報告沒有發現單一的軟件框架在大數據領域占主導地位。但是，25％的組織正在使用自行開發的大數據處理方法。
根據該報告，以下是十大大數據框架：
- Spark (31%)
- Hive (17%)
- HBase (17%)
- MapReduce (15%)
- Presto (13%)
- Kafka (13%)
- Impala (11%)
- Storm (11%)
- Flink (9%)
- Pig (6%)
該報告指出，2017年有些數字增加，而其他數字則有所減少。Spark，HBase，Presto，Kafka，Impala，Flink和本地開發在2018年都大受歡迎，而Hive，MapReduce，Storm和Pig的使用量均下降。
報告發現，企業可能會優先考慮大數據計劃，但人才短缺仍然是一個主要問題。四分之三（75％）的受訪者表示，他們面臨著大數據工程師、科學家和運營人員短缺。雖然79％的企業表示他們希望在明年增加他們的數據團隊人數，但83％的企業表示很難找到具備必要技能和經驗的數據專業人員。
此外，組織在大數據方面還遇到了其他一些挑戰。最常見的大數據障礙是缺乏經驗、減緩進度（44％），跟上新數據源（42％），不斷變化的用例（41％），太多手動任務（38％），以及數據量（34％）。
報告指出，隨著越來越多的公司希望在各種用例中實施機器學習計劃，豐富的大數據實踐變得至關重要。根據該報告，明年機器學習計劃的首要任務包括改善數據安全和威脅防護、優化客戶體驗以及利用預測性維護。
技術領導者必須要留意的重大信息
- Spark、Hive和HBase是企業中最常用的大數據軟件框架。—— Qubole，2018年
- 75％的數據專業人士表示，他們面臨著大數據工程師、科學家和運營商的人員短缺。—— Qubole，2018年
分享到:
閱讀更多 數字經濟週刊 的文章
