企業在推行大數據項目時往往把項目規模和範圍做得很大，但是事實卻是，很多大數據項目通常都會失敗。2016年，Gartner估算約60%的大數據項目都會失敗。一年後，Gartner分析師Nick Heudecker表示，這個數據“過於保守”，大數據項目失敗率應接近85%。直至現在他也是這樣認為的。
並不只有Gartner這樣認為。前微軟高管Bob Muglia告訴分析網站Datanami，“我找不到完全滿意的Hadoop客戶。實際上，成功應用Hadoop的客戶數量可能少於20個，甚至可能少於10個。考慮到其存在時間以及行業投入，這個結果很令人震驚。
熟悉大數據的人都知道，這個問題是真實且嚴重的，而不完全是技術問題。事實上，相對於本質原因，技術是失敗的次要原因。以下是大數據項目失敗的四個主要原因，以及可以成功的四種方式。
大數據問題1：整合不佳
Heudecker表示，大數據失敗背後存在著一個重要的技術問題，那就是整合多個來源的孤立數據，以實現企業所需的數據處理能力。建立與孤立傳統系統的連接並不容易。他說，整合成本是軟件成本的五到十倍。其中最大的問題是簡單集成：如何將多個數據源鏈接在一起?很多人選擇數據湖路線，認為這個方式很簡單，但事實並非如此。
孤立數據是問題的一部分。客戶告訴他，當他們將數據從系統提取到像數據湖這樣的公共環境中後，卻無法弄清楚這些值的含義。“當你將數據輸入數據湖時，怎麼知道數字3意味著什麼?”Heudecker問道。
普華永道(PwC)高級研究員Alan Morrison表示:“由於是在孤島中工作，或者創建的數據湖只是數據沼澤，所以他們能完成的工作只是冰山一角。”“他們不理解數據中的關係，這些關係需要挖掘或推斷，以便機器能夠充分解釋這些數據。另外，他們需要創建一個知識圖層，以便機器能夠解釋下面映射的所有實例數據。否則，數據湖只能是一個數據沼澤，”
大數據問題2：不明確的目標
大多數人以為企業在進行大數據項目時會有明確的目標，但實際並不是這樣的。很多公司通常是先啟動項目，然後才去想目標。
數據集成軟件公司Talend的產品營銷經理Ray Christopher表示，“你必須認真審視這個問題。人們認為他們可以將結構化和非結構化數據連接起來，從而獲得所需的信息。然而這必須提前確定目標，你想要什麼樣的信息?”
企業應用諮詢公司的首席分析師Joshua Greenbaum表示，困擾大數據和數據倉庫項目的部分原因是指導標準通常是大量數據的積累，而不是解決業務問題。
Greenbaum說，“如果將大量數據彙總在一起，就會得到數據轉儲，可以稱之為衛生垃圾填埋場。這不是尋找解決方案的好方法。我一般建議客戶先決定需要優先解決哪些業務問題，然後查看可用數據的質量，並在發現業務問題後解決數據問題。”
為什麼大多大數據項目都失敗了?對於初學者來說，大數據項目領導者都缺乏遠見。Morrison這樣認為。大多數企業只考慮數值數據或黑盒子NLP和識別引擎，並進行簡單的文本挖掘和其他類型的模式識別。
大數據問題3：技能差距
很多時候，公司認為他們為數據倉庫建立的內部技能將轉化為大數據，而事實並非如此。 對於初學者來說，數據倉庫和大數據以完全相反的方式處理數據：數據倉庫在寫入時執行模式，這意味著數據在進入數據倉庫之前就會被處理和組織。
在大數據中，積累數據並應用讀取模式，數據在讀取時進行處理。因此，如果數據處理從一種方法轉向另一種方法，技能和工具應該也是如此。
“技能永遠是一個挑戰。如果我們30年後談論大數據，仍然會面臨挑戰。“很多人都依賴Hadoop。但Spark更好一些，因為棧更小也更容易訓練。”
大數據問題4：技術代溝
大數據項目經常從舊的數據豎井中提取數據，並試圖將它們與新的數據源(如傳感器、網絡流量或社交媒體)合併。這並不完全是企業的錯，企業在大數據分析出現之前就收集了這些數據，但無論如何，這也是一個問題。
Greenbaum認為，企業缺少的最大技能是如何融合這兩個數據源，讓他們共同解決複雜問題。數據孤島可能成為大數據項目的障礙，因為它沒有任何標準。因此，當企業開始規劃時，發現這些系統尚未以任何方式實施，所以這些數據將被重複使用。
Talend的Christopher認為，對於不同的架構需要以不同的方式進行處理。技術技能和架構差異是無法將當前工具用於本地數據倉庫並將其與大數據項目集成的主要原因。因為這些技術處理新數據的成本太高。所以需要Hadoop和Spark等新的語言。
解決方案1：提前規劃
雖然是陳詞濫調，但適用於大數據項目。成功的公司必然是有結果的公司，選擇一些小而可實現的新東西進行規劃和實現。
Morrison說：“他們需要首先考慮數據，並以機器可讀的方式為企業建模，以便數據服務於該企業。”
解決方案2：共同努力
股東往往被排除在大數據項目之外 。Heudecker說，如果所有股東合作，他們可以克服許多障礙。加上技術人員共同努力，並與業務部門合作以提供可行的結果，這可能有所幫助。
Heudecker指出，在大數據方面取得成功的公司大量投資於必需的技能。他認為這是數據驅動型公司普遍認可的，如金融服務公司、優步、Lyft和Netflix。公司的財富基於擁有可靠、可操作的數據。
Christopher認為，應該讓大數據項目成為一項團隊運動，所有人都幫助策劃和收集數據並處理它，提高數據的完整性。
解決方案3：縮小焦點
人們似乎有一種心態，即大數據項目需要非常大的動作。但就像你第一次學習任何東西一樣，成功的最好方法是從小到小，然後逐漸擴大。
“他們應該仔細定義他們在做什麼，”Heudecker說，“應該選擇一個問題域並研究解決它，例如欺詐檢測、細分客戶，或者弄清楚千禧一代市場中推出的新產品。”
Christopher說:“說到底，你必須問問自己想要什麼，或者想要數字化的業務流程。不只是把技術扔到商業問題上，你必須預先定義它。數據湖是必要的，但如果數據湖不會被任何商業人士使用，你就不會想要收集數據。”
在很多情況下，這也意味著不要讓自己的公司過度膨脹。 Morrison表示，在他研究過的每一家公司中，只有幾百個關鍵概念和關係是整個企業賴以運作的。一旦你理解了這一點，你就會意識到，所有這些數以百萬計的差別只是那幾百件重要事情的微小變化。事實上，你會發現許多細微的變化根本不是變化。它們其實本質上是一樣的東西，雖然有不同的名字、不同的結構、不同的標籤。
解決方案4:拋棄傳統
雖然您可能希望使用收集並存儲在數據倉庫中的那些TB級數據，但事實上您可能更好地服務於為大數據設計的存儲系統中新收集的數據，並且設計為未經過處理的數據。
要避免因為企業擁有一項基礎設施的許可證而只對現有的基礎設施感興趣。通常，新的複雜問題可能需要新的複雜解決方案。使用企業以往的就工具並不是正確做法，甚至有可能導致大數據項目失敗。
Morrison認為，企業應該停止故步自封。他還表示，企業不能再一味依賴供應商為他們解決複雜的系統問題。“幾十年來，許多人似乎都認為任何大數據問題都是系統性問題。但當面對複雜的系統變化時，企業必須建立自己的解決方案。
本文由 張曉藝 發佈在 ITPUB，轉載此文請保持文章完整性，並請附上文章來源（ITPUB）及本頁鏈接。 原文鏈接：http://www.itpub.net/2019/05/24/1937/ 本文由博客群發一文多發等運營工具平臺 OpenWrite 發佈
