Introduction
(點擊可閱讀)中我們按照一次完整比賽流程的順序介紹了一些Kaggle比賽技巧.在這篇文章中將結合以上技巧介紹一次完整的進入前5%的Kaggle參賽經歷.參加的比賽名字叫做
首先簡單介紹這個比賽。Task 是判斷用戶搜索的關鍵詞和網站返回的結果之間的相關度有多高。相關度是由 3 個人類打分取平均得到的，每個人可能打 1 ~ 3 分，所以這是一個迴歸問題。數據中包含用戶的搜索詞，返回的產品的標題和介紹，以及產品相關的一些屬性比如品牌、尺寸、顏色等。使用的評分基準是 RMSE。
這個比賽非常像 Crowdflower Search Results Relevance 那場比賽。不過那邊用的評分基準是 Quadratic Weighted Kappa，把 1 誤判成 4 的懲罰會比把 1 判成 2 的懲罰大得多，所以在最後 Decode Prediction 的時候會更麻煩一點。除此以外那次比賽沒有提供產品的屬性。
1. EDA
由於加入比賽比較晚，當時已經有相當不錯的 EDA 了。尤其是這個。從中我得到的啟發有：
同一個搜索詞/產品都出現了多次，數據分佈顯然不 i.i.d.。文本之間的相似度很有用。產品中有相當大一部分缺失屬性，要考慮這會不會使得從屬性中得到的 Feature 反而難以利用。產品的 ID 對預測相關度很有幫助，但是考慮到訓練集和測試集之間的重疊度並不太高，利用它會不會導致 Overfitting？2. Preprocessing
這次比賽中我的 Preprocessing 和 Feature Engineering 的具體做法都可以在這裡看到。我只簡單總結一下和指出重要的點。
利用 Forum 上的 Typo Dictionary 修正搜索詞中的錯誤。統計屬性的出現次數，將其中出現次數多又容易利用的記錄下來。將訓練集和測試集合並，並與產品描述和屬性 Join 起來。這是考慮到後面有一系列操作，如果不合並的話就要重複寫兩次了。對所有文本能做 Stemming 和 Tokenizing，同時手工做了一部分格式統一化（比如涉及到數字和單位的）和同義詞替換。3. Feature
*Attribute Features是否包含某個特定的屬性（品牌、尺寸、顏色、重量、內用/外用、是否有能源之星認證等）這個特定的屬性是否匹配Meta Features各個文本域的長度是否包含屬性域品牌（將所有的品牌做數值離散化）產品 ID簡單匹配搜索詞是否在產品標題、產品介紹或是產品屬性中出現搜索詞在產品標題、產品介紹或是產品屬性中出現的數量和比例*搜索詞中的第 i 個詞是否在產品標題、產品介紹或是產品屬性中出現搜索詞和產品標題、產品介紹以及產品屬性之間的文本相似度BOWCosine SimilairtyTF-IDF Cosine SimilarityJaccard Similarity*Edit DistanceWord2Vec Distance（由於效果不好，最後沒有使用，但似乎是因為用的不對）值得一提的是，上面打了 * 的 Feature 都是我在最後一批加上去的。問題是，使用這批 Feature 訓練得到的 Model 反而比之前的要差，而且還差不少。我一開始是以為因為 Feature 的數量變多了所以一些參數需要重新調優，但在浪費了很多時間做 Grid Search 以後卻發現還是沒法超過之前的分數。這可能就是之前提到的 Feature 之間的相互作用導致的問題。當時我設想過一個看到過好幾次的解決方案，就是將使用不同版本 Feature 的 Model 通過 Ensemble 組合起來。但最終因為時間關係沒有實現。事實上排名靠前的隊伍分享的解法裡面基本都提到了將不同的 Preprocessing 和 Feature Engineering 做 Ensemble 是獲勝的關鍵。
4. Model
我一開始用的是 RandomForestRegressor，後來在 Windows 上折騰 Xgboost 成功了就開始用 XGBRegressor。XGB 的優勢非常明顯，同樣的數據它只需要不到一半的時間就能跑完，節約了很多時間。
比賽中後期我基本上就是一邊臺式機上跑
這次比賽數據分佈很不獨立，所以期間多次遇到改進的 Feature 或是 Grid Search 新得到的參數訓練出來的模型反而 LB 分數下降了。由於被很多前輩教導過要相信自己的 CV，我的決定是將 5-Fold 提到 10-Fold，然後以 CV 為標準繼續前進。
5. Ensemble
最終我的 Ensemble 的 Base Model 有以下四個：
RandomForestRegressorExtraTreesRegressorGradientBoostingRegressorXGBRegressor第二層的 Model 還是用的 XGB。
因為 Base Model 之間的相關都都太高了（最低的一對也有 0.9），我原本還想引入使用 gblinear 的 XGBRegressor 以及 SVR，但前者的 RMSE 比其他幾個 Model 高了 0.02（這在 LB 上有幾百名的差距），而後者的訓練實在太慢了。最後還是隻用了這四個。
值得一提的是，在開始做
在比賽最後兩天，因為身心疲憊加上想不到還能有什麼顯著的改進，我做了一件事情：用 20 個不同的隨機種子來生成 Ensemble，最後取 Weighted Average。這個其實算是一種變相的 Bagging。其意義在於按我實現 Stacking 的方式，我在訓練 Base Model 時只用了 80% 的訓練數據，而訓練第二層的 Model 時用了 100% 的數據，這在一定程度上增大了 Overfitting 的風險。而每次更改隨機種子可以確保每次用的是不同的 80%，這樣在多次訓練取平均以後就相當於逼近了使用 100% 數據的效果。這給我帶來了大約 0.0004 的提高，也很難受說是真的有效還是隨機性了。
比賽結束後我發現我最好的單個 Model 在 Private LB 上的得分是 0.46378，而最終 Stacking 的得分是 0.45849。這是 174 名和 98 名的差距。也就是說，我單靠 Feature 和調參進到了 前 10%，而 Stacking 使我進入了前 5%。
6. Lessons Learned
比賽結束後一些隊伍分享了他們的解法，從中我學到了一些我沒有做或是做的不夠好的地方：
至於 Ensemble 的方法，我暫時還沒有辦法學到什麼，因為自己只有最簡單的 Stacking 經驗。
7. Summary
7.1 Takeaways
比較早的時候就開始做 Ensemble 是對的，這次比賽到倒數第三天我還在糾結 Feature。很有必要搭建一個 Pipeline，至少要能夠自動訓練並記錄最佳參數。Feature 為王。我花在 Feature 上的時間還是太少。可能的話，多花點時間去手動查看原始數據中的 Pattern。7.2 Issues Raised
我認為在這次比賽中遇到的一些問題是很有研究價值的：
在數據分佈並不 i.i.d. 甚至有 Dependency 時如何做靠譜的 CV。如何量化 Ensemble 中 Diversity vs. Accuracy 的 Trade-off。如何處理 Feature 之間互相影響導致性能反而下降。7.3 Beginner Tips
給新手的一些建議：
選擇一個感興趣的比賽。如果你對相關領域原本就有一些洞見那就更理想了。