本文是“數據型公司”系列報道的第三篇，研究成果來自紅杉美國數據科學團隊。
———
建立數據處理團隊的主要目標
企業競爭力越來越取決於如何成功地分析海量的、非結構化的數據集，以及如何利用這些分析推動企業創新。因此，企業的當務之急便是建立數據處理團隊，專注於從數據中汲取商業價值。
建立數據處理團隊首先要明確三方面目標：
1，評估健康狀況
監控關鍵產品的指標；瞭解這些指標變化背後的因素，並識別出異常值；形成企業報告並可視化。
2，交付適當產品
設計和評估實驗；細分用戶，建立用戶行為模型；利用人工智能和機器學習改進產品生產系統。
3，制定產品目標、流程和策略
深入探索和分析用戶體驗過程；提出切實可行的策略並預測效果。
數據處理團隊架構
要實現上述三大主要目標，則需建立恰當的數據基礎設施。圖1展示了整個數據處理團隊的架構。
第一步是記錄下用戶與產品的所有交互行為——用戶每次點擊、懸停、打開、關閉和登錄等，以及第三方提供的所有數據。一般來說，隨著用戶數量和用戶參與度的增加，這些數據的規模會迅速擴大。
儘管這些數據不一定都有意義，但記錄用戶足跡是整個過程中的關鍵步驟。由於很多企業並不清楚自己最終需要什麼樣的數據，所以最簡單的方法便是記錄所有。之後，某些特定類型的數據需要經過處理才會變得有用，比如欺詐檢測和直播視頻。
原始數據可以通過ETL（萃取、轉置、加載的過程）至數據倉庫，數據倉庫則以更為結構化的形式（通常由結構化查詢語言SQL支持）存儲數據。一些較大的企業選擇將所有傳入的數據以原始形式儲存在數據池中（一個存儲所有數據的集中式存儲庫），這樣一來，企業便可以利用最新的邏輯，對下游的數據存儲進行補充。
許多大中型企業擁有多個數據倉庫和數據池，但如果沒有構建數據集，數據的直接分析就會變得困難。
因此，構建數據集往往需要針對特定使用目的進行另一個萃取、轉置、加載過程。之後，輸出的數據將被存儲在一個分析數據庫中，用於更深入地分析，從而形成報告並將其可視化，並構建起人工智能和機器學習（AI/ML）模型。
這些深入瞭解將有助於制定流程和策略，可視化和報告則將有助於監控產品的開發進度，而AI/ML模型將有助於實現自動化並預測其效果。
此外，測試-學習方法是構建任何數據型產品的關鍵，它可以基於追蹤的用戶行為數據，開發並定製產品。根據對關鍵指標的影響，企業運行、評估和實施大量的產品實驗（比如，A/B測試）。在這些實驗中，特徵標記將對用戶進行細分，以確保不同的用戶群組數據將會得到不同的處理。
隨著數據處理的規模化和標準化，多種與數據相關的專業崗位將會誕生，包括數據分析師、數據工程師、數據基礎設施工程師、數據架構師和數據科學家。在不同項目中，創建者、終端用戶和數據產品各不相同（詳見圖2）。
數據處理團隊的演進
數據處理團隊的功能應隨著產品的發展而演進。例如，在早期階段，聘請專門從事分析千萬級字節數據的數據工程師可能作用不大，但隨著產品的推廣，他們的作用則會日益彰顯。構建數據處理團隊應著眼於中短期需求，數據基礎設施的建設則應以長期需求為基礎。
下面，我們來談談，數據團隊在各個特定開發階段的主要任務。
1，階段一
起初，當企業在統計用戶數量時，出色的技術執行能力是企業的核心技能，比如建立基礎設施生成可信的KPI、創建用戶跟蹤數據，並形成最初的報告。對於大多數公司來說，產品團隊即為最初的數據團隊。因為產品團隊負責定義度量標準，並且隨著產品使用量的增加，計算和存儲與這些度量標準相關的數據。
2，階段二
隨著企業和產品的發展，完善信息板和報告變得越來越重要。這時，數據工程便成為獨立於產品工程的核心功能，而構建基礎設施的目的則是專門支持ETL和報告的功能。尤為重要的是，數據團隊需要對產品進行深入瞭解，並提出看法。
除了監控KPI、向企業其他部門提供分析報告之外，數據團隊的核心職責還包括進行特別分析，識別出度量偏差的根本原因。
3，階段三
一旦產品使用量達到一定規模，需要進行統計意義上的實驗來改進產品體驗，這時，對於數據分析師和數據工程師來說，統計技能就至關重要了。
於數據分析師而言，精心設計實驗、從統計角度正確解釋結果是核心要求。在後端的實驗框架中，則需要考慮用戶跟蹤（避免同一用戶的數據參與到多個相關實驗中）和其他能夠快速分析結果的統計特性。
4，階段四
最後，數據科學團隊最重要的目標是設置企業目標、流程和策略。設定正確的目標需要基於對業務整體目標的理解。
制定流程需要基於探索性分析的能力，識別出問題和機遇，並將想法與結果聯繫在一起。具體來說，是需要分析出任何現象背後的驅動因素、可用來做出改變的槓桿，並將這些想法與實踐結合起來。
除此之外，為產品團隊制定策略需要強大的分析能力，理解並分析所有相關的現象，即所謂的“點”，識別和弄清這些點是如何相互連接的。只有在此基礎上，才能提出有意義的策略。最後，還要清晰、有效地與高層領導溝通，這對於最終基於數據來設定目標、流程和戰略具有不可忽視的作用。
閱讀更多 獅吼網 的文章
