機器學習-廣義線性模型

如果你想對一個概率問題進行建模,那麼有一個通用的方法,這個方法就是廣義線性模型(以下簡稱GLM)。

GLM的出現是經過假設推廣總結出來的,明確一個事實,『假設』是不需要被證明的。假設的初衷是認為他們能夠具有很好的解決問題的性質,但是並非胡編亂造。

舉個例子:隨機生成100個數,我們先假設這100個數服從正態分佈,通過這個假設我們可以分析這100個數所屬的樣本總體都有哪些性質,經過不斷的驗證和推廣,我們認為,這個假設是合理的,並且是有效的,但是無法證明這隨機的100個數是不是真的屬於正態分佈。

在這樣的一個前提下,GLM有如下3個假設:

如果你想對一個概率模型建模,那麼這個概率分佈必須屬於指數分佈族。假設2、3都是在假設1的基礎上,也就是指數分佈族的基礎上進行再次假設。

給定變量x,目標函數輸出值是E[T(y)|x]。這裡略做解釋,T(y)在指數分佈族裡被稱為充分統計量,常被處理為T(y) = y,統計量很好理解,均值、方差、極差、中位數等等都是統計量,那麼充分的統計量呢?就是當已知一個分佈時,我通過有限個統計量,就可以確定這個分佈的特性。例如正態分佈,如果已知總體均值μ,那麼無論有多少的數據,這個概率密度函數是固定的,此時,這個μ就是充分統計量。通過假設我們可以看出,GLM其實是對充分統計量的期望值進行建模的。

η與x有線性關係,η = θ^T * x,這裡就是GLM被稱為『線性』的來源。


分享到:


相關文章: