應對機器學習中類不平衡的10種技巧

介紹

當一個類的觀察值高於其他類的觀察值時，則存在類失衡。

示例：檢測信用卡欺詐交易。如下圖所示，欺詐交易大約為400，而非欺詐交易大約為90000。

類不平衡是機器學習中的常見問題，尤其是在分類問題中。不平衡數據可能會長時間妨礙我們的模型準確性。

類不平衡出現在許多領域，包括：

• 欺詐識別
• 垃圾郵件過濾
• 疾病篩查
• SaaS訂閱流失
• 廣告點擊

類失衡問題

當每個類別中的樣本數量大致相等時，大多數機器學習算法效果最佳。這是因為大多數算法都是為了最大化精確度和減少誤差而設計的。

然而，如果數據集不平衡，那麼在這種情況下，僅僅通過預測多數類就可以獲得相當高的準確率，但是無法捕捉少數類，這通常是創建模型的首要目的。

信用卡欺詐檢測示例

假設我們有一個信用卡公司的數據集，我們必須找出信用卡交易是否是欺詐性的。

但是這裡有個陷阱……欺詐交易相對罕見，只有6％的交易是欺詐行為。

現在，在你還沒有開始之前，你是否能想到問題應該如何解決？想象一下，如果你根本不花時間訓練模型。相反，如果你只編寫了一行總是預測“沒有欺詐性交易”的代碼，該怎麼辦？

<code>
def
 
transaction
(transaction_data)
:

    
return
 
'No fradulent transaction'
/<code>

好吧，你猜怎麼著？你的“解決方案”將具有94％的準確性！

不幸的是，這種準確性令人誤解。

• 所有這些非欺詐性的交易，你都將擁有100％的準確性。
• 那些欺詐性的交易，你的準確性為0％。
• 僅僅因為大多數交易不是欺詐性的（不是因為你的模型很好），你的總體準確性就很高。

這顯然是一個問題，因為許多機器學習算法都旨在最大程度地提高整體準確性。在本文中，我們將看到處理不平衡數據的不同技術。

數據

我們將在本文中使用信用卡欺詐檢測數據集，你可以從此處找到該數據集。

• https://www.kaggle.com/mlg-ulb/creditcardfraud

加載數據後，顯示數據集的前五行。

<code>
 check the target variable that is fraudulet and not fradulent transactiondata[
'Class'
].value_counts()

 1 -> fraudulent
/<code>

<code> 
g
 = sns.countplot(data[
'Class'
])
g.set_xticklabels([
'Not Fraud'
,
'Fraud'
])
plt.show()
/<code>

你可以清楚地看到數據集之間存在巨大差異。9000次非欺詐性交易和492次欺詐性交易。

指標陷阱

新開發人員用戶在處理不平衡數據集時遇到的一個主要問題與用於評估其模型的指標有關。使用更簡單的指標，比如準確度得分，可能會產生誤導。在具有高度不平衡類的數據集中，分類器總是在不進行特徵分析的情況下“預測”最常見的類，並且它的準確率很高，顯然不是正確的。

讓我們做這個實驗，使用簡單的XGBClassifier和無特徵工程：

<code> 
from
 
xgboost import XGBClassifier

xgb_model
 = 
XGBClassifier().fit(x_train, y_train)
 
xgb_y_predict
 = 
xgb_model.predict(x_test)
 
xgb_score
 = 
accuracy_score(xgb_y_predict, y_test)

  
score is:', xbg_score)OUTPUT
Accuracy
 
score is: 0.992 

/<code>

我們可以看到99％的準確度，我們得到的是非常高的準確度，因為它預測大多數類別為0（非欺詐性）。

重採樣技術

一種處理高度不平衡數據集的廣泛採用的技術稱為重採樣。它包括從多數類中刪除樣本（欠採樣）和/或從少數類中添加更多示例（過採樣）。

儘管平衡類有很多好處，但是這些技巧也有缺點。

過採樣最簡單的實現是複製少數群體類別的隨機記錄，這可能會導致過度捕撈。

欠採樣最簡單的實現涉及從多數類中刪除隨機記錄，這可能會導致信息丟失。

讓我們用信用卡欺詐檢測示例來實現它。

我們將首先將類0和類1分開。

<code># 
class
 
count

class_count_0, class_count_1 = 
data
[
'Class'
].value_counts()

# Separate 
class

class_0 = 
data
[
data
[
'Class'
] == 
0
]
class_1 = 
data
[
data
[
'Class'
] == 
1
]# print the shape of the 
 
class

print(
'class 0:'
, class_0.shape)
print(
'class 1:'
, class_1.shape
/<code>

1.隨機欠採樣

欠採樣可以定義為刪除多數類的觀察值。這是在多數類和少數類被平衡之前進行的。

當你擁有大量數據時，欠採樣可能是一個不錯的選擇，比如數百萬行。但是欠採樣的一個缺點是我們可能刪除了有價值的信息。

<code>class_0_under = class_0.sample(class_count_1)

test_under = pd.concat([class_0_under, class_1], axis=0)

print
(
"total class of 1 and0:"
,test_under[
'Class'
].value_counts()) 
test_under[
'Class'
].value_counts().plot(kind=
'bar'
, title=
'count (target)'
)
/<code>

2.隨機過採樣

過採樣可以定義為向少數類添加更多副本。當你沒有大量數據要處理時，過採樣可能是一個不錯的選擇。

欠採樣時要考慮的一個弊端是，它可能導致過擬合併導致測試集泛化不佳。

<code>class_1_over = class_1.sample(class_count_0, replace=
True
)

test_over = pd.concat([class_1_over, class_0], axis=
0
)

print
(
"total class of 1 and 0:"
,test_under[
'Class'
].value_counts()) 
test_over[
'Class'
].value_counts().plot(kind=
'bar'
, title=
'count (target)'
)
/<code>

使用不平衡學習python模塊平衡數據

在科學文獻中已經提出了許多更復雜的重採樣技術。

例如，我們可以將多數類的記錄聚類，並通過從每個聚類中刪除記錄來進行欠採樣，從而尋求保留信息。在過採樣中，我們可以為這些副本引入較小的變化，從而創建更多樣的合成樣本，而不是創建少數群體記錄的精確副本。

讓我們使用Python庫 imbalanced-learn應用其中一些重採樣技術。它與scikit-learn兼容，並且是scikit-learn-contrib項目的一部分。

<code>
import
 imblearn
/<code>

3.使用imblearn進行隨機欠採樣

RandomUnderSampler通過為目標類別隨機選擇數據子集來平衡數據的快速簡便方法。通過隨機選擇有或沒有替代品的樣本對多數類別進行欠採樣。

<code> 
from
 imblearn.under_sampling 
import
 RandomUnderSampler

rus = RandomUnderSampler(random_state=
42
, replacement=
True
) 
x_rus, y_rus = rus.fit_resample(x, y)

print( 
'original dataset shape:'
, Counter(y))
print(
'Resample dataset shape'
, Counter(y_rus))
/<code>

4.使用imblearn進行隨機過採樣

解決不平衡數據的一種方法是在少數群體中生成新樣本。最幼稚的策略是通過隨機採樣替換當前可用的採樣來生成新的採樣。隨機過採樣提供了這樣一個方案。

<code> 
from
 imblearn.over_sampling 
import 
 RandomOverSampler

ros = RandomOverSampler(random_state=
42
)

 

print
(
'Original dataset shape'
, Counter(y))
print
(
'Resample dataset shape'
, Counter(y_ros))
/<code>

5.欠採樣：Tomek鏈接

Tomek鏈接是一對非常接近的實例，但類別相反。刪除每對多數類的實例會增加兩個類之間的空間，從而有助於分類過程。

如果兩個樣本是彼此的最近鄰，則存在Tomek的鏈接

在下面的代碼中，我們將用於ratio='majority'對多數類進行重新採樣。

<code> 
from
 imblearn.under_sampling 
import
 TomekLinks

tl = RandomOverSampler(sampling_strategy=
'majority'
)

 
x_tl, y_tl = ros.fit_resample(x, y)

print
(
'Original dataset shape'
, Counter(y))
print 
(
'Resample dataset shape'
, Counter(y_ros))
/<code>

6. Synthetic Minority Oversampling Technique (SMOTE)

該技術為合成少數過採樣技術。

SMOTE（合成少數過採樣技術）的工作原理是從少數類中隨機選取一個點並計算該點的k近鄰。合成點被添加到所選的點和它的相鄰點之間。

SMOTE算法通過以下四個簡單步驟工作：

1. 選擇少數類作為輸入向量
2. 查找其k個最近鄰（在SMOTE()函數中將k_neighbors指定為參數）
3. 選擇這些鄰居中的一個，並將合成點放置在連接考慮中的點及其所選鄰居的線上的任何位置
4. 重複這些步驟，直到數據平衡

<code> 
from
 imblearn.over_sampling 
import
 SMOTE

smote = SMOTE()

 
x_smote, y_smote = smote.fit_resample(x, y)

print
(
'Original dataset shape'
, Counter(y))
print
(
'Resample dataset shape'
, Counter(y_ros))
/<code>

7. NearMiss

NearMiss是欠採樣技術。與其使用距離重新採樣少數類，不如將多數類等同於少數類。

<code>
from
 imblearn.under_sampling 
import
 NearMiss

nm = NearMiss()

x_nm, y_nm = nm.fit_resample(x, y)

print
(
'Original dataset shape:'
, Counter(y))
print
(
'Resample dataset shape:'
, Counter(y_nm))
/<code>

8.更改性能指標

評估不平衡數據集時，準確性不是最佳的度量標準，因為它可能會產生誤導。

可以提供更好洞察力的指標是：

• 混淆矩陣：顯示正確預測和錯誤預測類型的表。
• 精度：真實陽性的數目除以所有陽性預測。精度也稱為正預測值。它是分類器準確性的度量。低精度表示大量誤報。
• 召回率：真實陽性的數量除以測試數據中的陽性值的數量。召回也稱為敏感度或真實陽性率。它是分類器完整性的度量。較低的召回率表示大量假陰性。
• F1：得分：準確性和召回率的加權平均值。
• ROC曲線下面積(AUROC)：AUROC表示模型將觀測值與兩個類區分開來的可能性。

換句話說，如果你從每個類中隨機選擇一個觀察值，你的模型能夠正確“排序”它們的概率有多大？

9.懲罰算法（成本敏感訓練）

下一個策略是使用懲罰性學習算法，該算法會增加少數類分類錯誤的成本。

這項技術的一種流行算法是Penalized-SVM。

在訓練過程中，我們可以使用參數class_weight='balanced'來懲罰少數類的錯誤，懲罰量與代表性不足的程度成正比。

如果我們想為支持向量機算法啟用概率估計，我們還希望包含參數probability=True。

讓我們在原始不平衡數據集上使用Penalized-SVM訓練模型：

<code> 
from
 sklearn.svm 
import
 SVC

 
svc_model = SVC(class_weight=
'balanced'
, probability=
True
)

svc_model.fit(x_train, y_train)

svc_predict = svc_model.predict(x_test) 
print(
'ROCAUC score:'
,roc_auc_score(y_test, svc_predict))
print(
'Accuracy score:'
,accuracy_score(y_test, svc_predict))
print(
'F1 score:'
,f1_score(y_test, svc_predict))
/<code> 

10.更改算法

儘管在每個機器學習問題中，嘗試各種算法都是一個很好的經驗法則，但是對於不平衡的數據集而言，這尤其有利。

決策樹經常在不平衡的數據上表現良好。在現代機器學習中，樹集成（隨機森林，梯度增強樹等）幾乎總是勝過單個決策樹，因此我們將直接跳到：

基於樹的算法通過學習 if / else 問題的層次結構來工作。這可以強制解決兩個類。

<code> 
from
 sklearn.ensemble 
import
 RandomForestClassifier

rfc = RandomForestClassifier()

 
rfc.fit(x_train, y_train)

 
rfc_predict = rfc.predict(x_test) 
print
(
'ROCAUC score:'
,roc_auc_score(y_test, rfc_predict))
print
(
'Accuracy score:'
,accuracy_score(y_test, rfc_predict))
print
(
'F1 score:'
,f1_score(y_test, rfc_predict))
/<code>

欠採樣的優點和缺點

優點

• 當訓練數據集很大時，它可以通過減少訓練數據樣本的數量來幫助改善運行時間和存儲問題。

缺點

• 它可以丟棄可能有用的信息，這對於構建規則分類器可能很重要。
• 通過隨機欠採樣選擇的樣本可能是有偏差的樣本。可能導致實際測試數據集的結果不準確。

過採樣的優缺點

優點

• 與欠採樣不同，此方法不會導致信息丟失。
• 在抽樣條件下表現更佳

缺點

• 由於它複製了少數群體事件，因此增加了過度擬合的可能性。

你可以在我的GitHub存儲庫中檢查代碼的實現。

• https://github.com/benai9916/Handle-imbalanced-data/tree/master

結論

總而言之，在本文中，我們已經看到了處理數據集中的類不平衡的各種技術。處理不平衡數據時，實際上有很多方法可以嘗試。希望本文對你有所幫助。