如果大家在一線做算法或者分析，我猜你們的工作時間基本上都花在具體的項目推進和優化上面。我之前也是這樣的狀態：作為某公司算法策略 manager，投入到公司內部的一些重要的機器學習項目裡面，每天的討論都在圍繞著具體項目的預測精度，特徵工程，線上部署與監控這些問題。也寫了一篇文章 《機器學習模型優化不得不思考的幾個問題》，介紹了模型項目推進的三個要素：最大可能的貼近業務目標；完備的特徵、數據體系；最恰當而不是最複雜的技術選型。
不過慢慢的，有一些更上層的問題問題讓我感到頭疼：做的這些事情，我清楚業務和老闆定下來的目標是什麼。不過，目標是否可能錯了？目標應該是什麼？又給企業帶來了多少價值？當時我並沒有一套行之有效的方法論可以幫助我去想清楚一個項目的目標，並去量化一個項目的價值。於是，這一年多以來，我從管理回到一線，在參謀部重點做兩件事情：和這個領域內的教授、專家學習一些可以解決這些問題的分析框架和計量經濟學的方法（特別感謝 萬智璽 老師的栽培），用這些方法去評估公司一些重要的項目與產品的邊際價值、潛力，去指導運營做更高效的規劃。
今天我具體來聊的，就是如何清晰的思考和科學的量化項目的價值，如何優化項目目標從而更高效的完成業務的 KPI，而且我講的不是管理學的經驗，而是科學的、數據驅動的方法論。比如，在海外，對標競爭對手的司乘體驗水平，如果要達到 x% 的 market share 最少需要多少在線司機和發單？這是一類偏戰略分析、運營規劃的問題，解決這類問題不僅僅需要技術能力，也需要對商業模式清晰的思考、以及一個項目在商業模式下的位置以及價值. 這構成了本次內容要涵蓋的三個主體：
分析框架：多邊平臺的經濟學框架；
項目定位：模型的兩類應用、價值、風險；
技術選型：因果推斷與機器學習。
多邊平臺的分析框架
隨著技術的發展，互聯網+催生了大量的平臺類商業模式。這些平臺的運營、產品可能相差很遠，但是背後的理論模型卻極為相近。絕大多數的互聯網公司——無論是 BATJ、獨角獸、還是那些風口浪尖的企業，都可以類比成或大或小、或紛亂或簡單的市場。在這個市場上都有賣家和買家雙方，而平臺的作用就是去撮合買家和賣家之間的交易。
舉例說，滴滴的賣家是司機，買家是乘客，平臺分配合適的司機去滿足乘客的出行需求；餓了麼、美團則是用戶、餐飲店、騎手端組成的三邊平臺，這是個在線上將有外賣需求的用戶和餐飲店之間進行匹配交易，並通過配送完成外賣交易閉環的運營模式；攜程呢，則是許多或大或小市場的組合，酒店板塊、旅遊板塊、機票等板塊分別管理著不同市場上買賣家的分配和交易過程中可能產生的任何問題（e.g. 呼叫中心）。
平臺之所以可以興盛，因為它解決了傳統行業交易成本過高的難題。經濟學家根據交易的三個階段，把交易成本劃分為匹配、談判、締約、執行成本。比如你出門打出租車，匹配成本發生在你尋找潛在交易機會的階段，你從出門揚招到找到一個可能載你的空車這個過程所產生的成本就是匹配成本；談判、締約成本發生在買賣雙方針對交易細節進行協商的過程，就是你和司機商量要去哪裡，是否接受拼車，是否願意加價的過程中產生的成本；而執行成本呢，則在於交易發生之後，司機是否會繞路，是否會中途讓你下車，這些你們所承擔的風險就是執行成本的一種。滴滴的優勢在於利用互聯網大數據、精細化運營的手段極大程度上降低了交易成本：把司機和乘客從線下搬到了線上，通過秒級的分單調度匹配司機與乘客，通過平臺統一定價節省了司機與乘客之間議價的成本，並通過司機服務分、乘客信用分來反向約束司機和乘客的行為。就是因為滴滴解決了高昂的出行交易成本，滴滴出行目前是全球最大的一站式出行平臺，每天 3000 萬訂單的規模。
經濟學家把平臺類商業模式，或者說撮合供需兩（多）端交易的商業模式統稱多邊平臺 (Multisided Platform)。多邊平臺有很多有趣的問題，例如低於成本的定價依然可以獲得鉅額的利潤，又比如多邊之間的網絡效應帶來的協同增長、萎縮；另外，平臺的規模以及獲取交易、用戶行為數據的能力為機器學習算法提供了非常好的生態...... 不過，這裡不會翻來覆去說多邊平臺的複雜，而是其背後是一套簡單、科學的分析框架：KPI（主要是規模、體驗）= f（供給量）+ g（需求量）+ u（匹配效率）。f（供給量）+ g（需求量）在講的是邊際供給、需求對平臺 KPI 的影響；而 u（匹配效率）在講的是給定一定規模的供給量和需求量之後，平臺撮合供給 和 需求而實現規模、或體驗的效率。一個平臺要做規模或者體驗的增長，只有兩個抓手：要麼進一步拉動供需規模；要麼做匹配效率的優化。
就比如我們這個會場，雲海平臺就是一個市場：市場的一邊，g（需求量）是在座的聽眾，市場的另一邊，f（供給量），就是我們這些講師，平臺呢，就是會議的主辦方。聽眾這邊關注的是供給量和質量，供給量越多、質量越好，你們聽眾就會越來越多；我們內容供給這一邊呢，更多也在看你們的需求量，需求量越大越容易激勵我們更踴躍的參加、給出更好的內容；而主辦方則要考慮你們和我們之間的匹配效率，聽眾的背景大概是怎樣的？講師的內容是否和聽眾的需求可以很好的匹配？所以才有了這個會議之前，我們和主辦方在線下很多次圍繞內容的溝通。這個匹配的效率越高，才越會吸引聽眾和講師的參與，才會把雲海這個會議越辦越大。我描述的這個平臺，正式許多學術期刊主辦的學術會議的商業模式：當這個平臺從聽眾、內容供給者的量上面突破了一定的規模，可能會議會引入另外一個邊，第三方的公司和廣告商會藉著會議的舉辦機會來做宣傳，而平臺就有更大的獲利的渠道，甚至接下來放開流量對聽眾免費，於是平臺的規模就會越來越大。
項目的定位與模型的兩類應用
回到我們日常面對的工作。企業運作的所有項目，都在圍繞這三者展開。比方說，我之前同樣在這裡講的滿房自動開房模型，通過機器學習算法去精準觸達那些可以額外提供間夜量的酒店或者房型，從而緩解攜程酒店在高峰期供不應求的難題；再比方說目前很火的 增長 這個話題，本質上就是數據驅動的市場營銷方法，討論一個公司如何通過渠道數據分析來提升獲客的能力，就是一個典型的圍繞 g（需求量）開展的工作。而平臺的眾多機器學習模型更多體現在後者。u（匹配效率）：搜索、推薦、分單調度、前端產品、識別預測類、單量預測類、行為預測類，我們利用算法來做高效、個性化的匹配：在給定供給和需求規模的情況下，儘可能提升訂單轉化率。
不過，回到一開始我拋出來的問題：這麼多項目同時在運作，每個項目帶來的邊際價值有多少呢？企業做大之後，會出現非常多相互間耦合、內耗、甚至衝突的項目。如果把企業的 GMV 看成一個大餅，的確有些優秀的項目會把餅做大，也有一些實際上是在爭奪存量，有些項目甚至會讓這張餅變小 —— 所以，能夠評估一個項目對業務 KPI 邊際影響的能力是很重要的。
我們應該如何去做呢？一個好消息是，互聯網企業並不缺乏支撐這個評估的數據，而且，評估的框架大家會很熟悉：我們開一下腦洞，如果每個項目、產品、運營活動的目標可以量化成特徵，宏觀層面的 KPI 就是我們的因變量，那麼評估的框架就是一個監督式學習的機器學習模型。於是，一個項目的價值就體現在模型學習出來的特徵和 y 之間的關係裡面；同時，這個模型可以指導運營規劃，如何宏觀的協調各個項目，如何界定每個項目具體追求的目標，才會最快速的增長我們的 KPI。所以，這個模型的潛在價值是巨大的，但也對應了同等量級的挑戰 -- 模型不僅僅要追求預測 y 的精度，也要追求它所反映的 y 與 x 之間的關係是無偏的。換句話講，如果我們有一個 ground truth：
，那麼我們訓練出來的模型
至少應該是無偏的。對於這個無偏的要求，隨便一個模型很難做到。至於原因，源自於模型的兩類存在本質差別的應用：
這裡我來重點討論下監督學習，假設 y = f（x1, x2, ..., xp），監督類機器學習本質上就在尋找 y 和 x1, x2, ..., xp 的相關性關係來擬合 f（·）。當你把這個模型訓練好之後，你可以拿這個模型做兩件事情：
1.預測類問題：給定 x，預測 y：我們多數機器學習項目落在這個範疇。預測、識別本身就有價值，快速高精度的識別預測代表著高的效率和對人力成本的節約。而且，這類問題的另外一個「優勢」就是省心，可以容忍一個黑箱模型，所以我們不需要實現過多的思考 y 與 x 之間到底應該是怎樣的關係。另外一點，希望大家可以記住：即便你的模型沒有過擬合，f(x_1,x_2, …,x_p ) 與 f∗ (x_1,x_2, …,x_p ) 也可以相差很遠，甚至係數的符號都是相悖的，而這些看似糟糕的現象並不會影響到模型預測 y 的精度。也正因為這些「優勢」，預測類模型所反映的 y 與 x 之間的關係通常是有偏而且非常 misleading，不能用來估算項目邊際價值。
2.優化類問題：給定 x 的可行域，最優化 y： 可以來估算邊際價值的模型落在優化類模型框架中。先討論下特徵，優化類模型中的 x 和我們通常在特徵工程中討論的特徵類型不太一樣：通常 x 是一個可變動的產品、策略抓手，而 y 則通常是我們追求的業務指標/KPI..... 比如，剛剛我們談到給定 x，預測 y 的問題，這類問題在意的是模型的精度，而最優化 y 的問題在意的是精度會對平臺產生的影響。你們知道嗎，在午餐高峰期的時候，如果你在美團點了外賣，你會看到一個預計送達時間（e.g. 12：30），這個時間並不是最原始算法給出來的預測，而是適當根據你所處的場景加了一個通常一到兩分鐘補時——為什麼我們要給一個不準確的預估時間呢？因為無論是從用戶心理學角度、還是實際數據論證角度，我們都發現：用戶的確在完全準時（12：30）送達的時候是最開心的，但是如果出現了誤差，與其說 12：31，用戶通常更接受 12：29 送達，也就是說，外賣用戶群體更希望配送時間早於預期，而不是晚於預期。如果從最優化用戶體驗的角度，第二類的一個形式就可以寫成：用戶體驗 = f（算法精度，是否誤差為正），而我們要做的，就不僅僅是優化精度，而是要找到精度與正向誤差的 balance，已達到最優化用戶體驗的目的。再比如，定價。GMV = f(price) s.t. price>=cost; 實際上，我們正在調參的模型，參與的項目，服務的某個產品，所在的業務線，都可以通過特定的量化方式成為這類優化問題中的 x，而上層的宏觀業務目標就是我們要去優化的 y。
設想一下，如果機器學習幫助我們學習出來這個公式真實的形式，會有多大的業務意義。但是，如果我們在模型的變量設計、技術選型上面不小心謹慎，很可能無法獲取無偏的 x 與 y 之間的關係，訓練出來的是一個僅僅支持預測的模型。為什麼優化類問題容易做錯？為什麼你們平時經常會看到一些不符合 common sense 的 x 與 y 之間的量化關係？本質的原因是：模型通常在學習 相關性，而非 因果性。不過，優化類問題依賴因果關係。
因果推斷與機器學習
大家應該都聽說過 Google 流感預測，他們從用戶搜索日誌文本中提取了上億個特徵，成功預測了流感的趨勢。對於一個預測類問題，無論從技術選型來講還是從在特徵工程的創新角度，Google 無疑是成功的。但是這個模型面對優化類問題來講，就沒有一丁點的效用 -- 預防流感，從用戶搜索的內容著手，就是南轅北轍。
另外一個例子，沃爾瑪發現啤酒和尿布的銷售量是相關的，於是，沃爾瑪決定把啤酒和尿布放在一起賣，從而提高銷量。這個成果非常有意思，但沒有理論根據。沃爾瑪的數據中有上千個產品，肯定還有很多產品之間存在足夠大的相關係數，為什麼只拿出尿布與啤酒這一對說事，我們就不得而知了。換句話講，如果把相關性當成因果關係來指導決策，可能就會有害。相關性帶來的這種危害離大家並不遠，比如公司在制定定價策略的時候需要對用戶的價格敏感度或者是價格彈性進行估計，但是我們經常在這個估算過程中犯錯：我們都來設想下大家各自業務線產品面向用戶端的價格，如何通過定價來提升 GMV（GMV = 總流水 = 單量*單均價）呢？於是我們拿出來歷史每天的訂單量和價格的信息，做變量之間的相關性分析。基於真實數據，我們得到如下關係： GMV = beta_0 + beta_1*價格。我們都清楚，價格越高，人們越不願意購買這個產品，所以 beta_1 很可能是負向的，在這裡，我們假設背後的事實是你們的產品定價已經過高了，因此真實的 GMV = f(price) 的函數里面，beta_1 就是負向的。但是，在這裡和大家打個賭，通常情況下，你們從數據裡面會看到一個正向的 beta_1。如果我們相信這個相關性分析，繼續抬高價格，就會對平臺產生負向的作用。
相關性不等於因果性。而我們又如何從數據裡量化出來因果關係呢？有一種行之有效的 principle：相關性 = 因果性 + omitted variable。
什麼是因果性？指的是干預（x）純粹的（排除其他所有因素的）作用效果（y）。什麼又是相關性？指的是 x 的發生通常伴隨著 y 的發生，這當然意味著 x 與 y 互為因果的可能性，但是也有可能是一個隱藏在背後的推手，這個推手即會導致 x 也會導致 y，因此我們才發現了 x 與 y 之間的相關性。
回到上面那個定價的例子：為什麼我們會發現價格和 GMV 的正相關關係？因為這個相關的關係是兩個因果關係的疊加：第一個因果關係，是前面我提到的一個 ground truth，價格升高會負向影響 GMV；而搗亂的，是第二類因果關係，這個因果關係的核心推手是 供需關係。物以稀為貴，平臺在供不應求的時候才有動機去抬高價格。因此越是供不應求的時候，價格越高。同時，平臺另外一個規律就是：供不應求的時候單量更高，滴滴高峰期的時候才會觸發動態調價，區域滿房率越高的時候訂單量越大... 因此在這個因果關係裡面 價格和 GMV 是正向的關係。所以，我們才從數據中發現了價格 和 GMV 之間的正相關性。正式因為我們忽視了供需關係，所以我們得到了錯誤的結論。這也引出我對因果推斷的第一層歸納：因果關係 = 相關性 + omitted variable。
所以定價這個問題的解決方案是什麼呢？就是引入供需關係這個變量：y=beta0+alpha1*供給+alpha2*需求+beta1*price。之前供需關係的干擾都會跑到 alpha1,2 兩個係數裡面，而 beta1 可以被解釋為：當供需關係被控制（排除）的時候，價格對 GMV 產生的影響。
定價的問題告一段落，如何清晰的思考定價之外的優化問題？這裡給出通用的三個步驟：
1.清晰的思考兩個問題：x 如何導致 y？什麼因素會導致 x，這些因素會不會也導致 y？如果存在即導致 x 也導致 y 的因素，設為 omitted variable（ov）。
真正的難點在於 OV 的選取上面。由於 ov 導致 x，u 只會存在 x 的上層。而平臺最上層的三個核心： f（供給量）+ g（需求量）+ u（匹配效率），這個框架會是對大家最有效的指引，我們只許要弄清楚我們分析的點在哪個模塊是最重要的。最優化定價，本質上是給定供需，最優化 GMV 的問題，因此要想分析定價這個模塊，我們就要控制住 f（供給量）+ g（需求量）這兩個因素。而如何評估滿房開房項目對這個酒店平臺單量的影響呢，這個框架應該是 單量 ~ f（滿房開房數）+ g（需求量）+ u（匹配效率）。
2.學習關係： y = f '（x，ov）：
a.linear regression & 計量經濟學
b.RF、GBDT、Deep learning
c.Susan Athey: 機器學習解決異質性的問題
3.給定 x 的可行域和 f '（x，ov），優化 y ：
a.look at beta1, step by step
b.optimization
從技術層面，我從計量經濟學角度闡述了大家平時在一些數據中質疑的相關性的本質，並提出 因果性 = 相關性 + omitted variable 的觀點，進一步引入傳統的計量、AB、以及前沿的因果 + 機器學習的算法。從應用層面，我更多在引導大家看清一個盲區 – 平時在思考機器學習算法時候的盲區：算法在優化類應用中的巨大業務價值以及正確的建模方法，以及一般機器學習算法的侷限性。那麼，文中介紹的平臺經濟學框架對於做數據驅動的同學有什麼價值呢？我的忠告是，在追逐前沿技術模型的同時，要回到業務問題和商業本質才能具備高效的技術變現能力。一線的分析師、算法工程師要從更上層的商業角度，利用科學的分析框架來審視自己投入的項目所產生的價值，和應該發力的方向，也是我在寫文中三個主體部分的主要動機。
我們平時都在積累自己的「彈藥庫」：分類、迴歸、無監督模型、Kaggle 上面特徵變換的黑魔法、樣本失衡的處理方法、缺失值填充……這些大概可以歸類成模型和特徵兩個點。我們需要參考成熟的做法、論文，並自己實現，此外還需要多反思自己方法上是否還可以改進。如果模型和特徵這兩個點都已經做得很好了，你就擁有了一張綠卡，能跨過在數據相關行業發揮模型技術價值的准入門檻。同時，AI 在普及，甚至都普及到了去替代算法工程師日常的一些重複性工作的地步 – 大公司在開發機器學習、數據分析、日常報表的平臺，數據驅動對 coding 的要求越來越弱，於是不久的將來運營和產品都可以深度參與到數據驅動的一線當中。這個時候，量化戰略分析和最優化運營決策，也許就是未來奮鬥在數據驅動一線同學的核心價值之一。
閱讀更多 機器之心 的文章
