高斯混合模型(GMM)分類的理論有點複雜。當處理分類時候，基本理論之一就是貝葉斯決策規則。一般，貝葉斯決策規則告訴我們，通過最大化特徵向量x屬於某類的可能性，來最小化錯分特徵向量的可能性。這個所謂的“後驗概率”應該在所有的類別中被最大化。然後，貝葉斯決策規則將特徵空間劃分為相互不連接的區域。這些區域被超平面所分割，例如對於1D數據被點分割，或者2D數據被曲線分割。尤其是，超平面是由點定義的，相鄰的兩個類是等可能的。
貝葉斯決策規則可以被表示如下：
其中:
- ：後驗概率
- ： 先驗概率，假設特徵向量的類是，則特徵向量x出現的概率
- ：類出現的概率
- 特徵向量出現的概率
對於分類，後驗概率應該在所有的類別中達到最大化。這裡，我們粗略的展示一下怎麼獲得一個特徵向量x的後驗概率。首先，我們將其標註為
，例如如果x存在，類的概率則是一個常數。
貝葉斯分類器的第一個問題就是如何獲得
，如一個類出現的概率。這有兩種策略，第一種，你可以從被用的訓練集中去評估它，當你的訓練集不僅在樣本的質量，還是樣本集中單個類的頻率，都具有代表性時，這種方法是被推薦的。由於這種策略是不穩定的，所以在大多數情況下，第二種策略是被推薦的。這裡，假設每一類出現的概率是一樣的，如
被設為1/m，m是現有類的數量。
貝葉斯分類器的第二個問題是如何獲得先驗概率。原則上，訓練集中所有特徵向量的直方圖可以被利用。很明顯的 解決思路就是去把特徵空間的每一維細分為許多位，但是位的數量會隨著特徵空間的維數成指數增長，你就會面對所謂的維數災難。那麼，想去得到一個好的近似
，你需要更多的內存，進而才能更合適的去處理。另一個解決方案，不是讓一個位的大小保持不變，讓位的樣本數量變化，而是讓一個類別
的樣本數量k保持不變，變化的是包含k個樣本
的特徵向量x的周圍空間內區域的體積在變化。體積依靠是類別的K個最近鄰，所以此解決方案也被稱為K最近鄰密度評估。其有一個劣勢就是，所有的訓練樣本必須存儲在分類器中，k最近鄰的搜索是非常耗時的。由於這個原因，它很少在實踐中被運用。一個在實踐中被採用的方案是，假設
遵循的是特定的分佈，例如正態分佈。然後，你僅僅必須去評估正態分佈的兩個參數，例如均值向量
和方差矩陣
，這個可以通過如最大似然估計實現。
在某些情況下，一個單獨的正態分佈時不足夠的，因為在一個類的內部有很大的變化，例如字符‘a’可以用
或者
來代替，其有著很不同的形狀。然而，兩者屬於同一個字符，例如相同的類。在一個具有很大不同的類內，
個不同密度的混合是存在的。如果再次被假設為正態分佈，我們就有了一個高斯混合模型。用高斯混合密度模型去分類就意味著去評估一個樣本具體是屬於哪個混合密度。這可以被所謂的期望最小值算法來實現。
簡單的說，GMM分類器用單個類的概率密度函數，並將它們表述為一個高斯分佈的線性組合，如下圖。同簡單的分類方法相比，你可以想象一下GMM在簇中心構造一個n維錯誤(方差）橢圓體。如下圖。
類別1的方差要大於類別2的。在這樣的情況下，對於類的關係，到高斯錯誤部分曲線的距離比到簇中心的距離是一個更好的標準。
特徵向量X到類1的錯誤橢圓更近，儘管到類1的簇中心的距離要大於到類別2簇中心的距離
GMM僅僅對於低維的特徵向量是可行的（大約差不多15個特徵），因此HALCON僅僅用GMM來對一般特徵進行分類和圖像分割，而不是OCR。典型的應用就是圖像分割和異常檢測。異常檢測對於GMM識特殊的。其意味著不屬於訓練類之一的特徵向量將被拒絕。值得注意的是，異常檢測也可以應用SVM，但是具體的參數必須被設定，且僅僅是兩類問題可以被處理，例如一個單獨的類可以被訓練，不屬於那個單獨類 的特徵向量將被拒絕。
