什麼是迴歸？
迴歸分析是在一系列的已知或能通過獲取的自變量與因變量之間的相關關係的基礎上，建立變量之間的迴歸方程，把迴歸方程作為算法模型，通過其來實現對新自變量得出因變量的關係。因此迴歸分析是實用的預測模型或分類模型。
凡事皆有因果關係，解讀“迴歸”二字，其實就是由因回溯果的過程，最終得到的因與果的關係，就稱為迴歸。迴歸其實就是一個名詞，沒有特別的含義。
線性迴歸
線性迴歸（linear regression）意味著可以將輸入項分別乘以一些常量，再將結果加起來得到輸出。
線性迴歸的一個問題是有可能出現欠擬合現象，因為它求的是具有最小均方誤差的無偏估計。為了降低預測的均方誤差，可以在估計中引入一些偏差，其中一個方法是局部加權線性迴歸（Locally Weighted Linear Regression, LWLR）。如果數據的特徵比樣本點還多，也就是說輸入數據的矩陣X不是滿秩矩陣，非滿秩矩陣在求逆時會出現問題。為了解決這個問題，可以使用嶺迴歸（ridge regression）、lasso法、前向逐步迴歸。
隨機梯度下降算法
隨機梯度下降算法的理念，其實是借鑑了隨機樣本抽樣的方式，並提供了一種動態步長的策略，希望做到又優化精度，同時又滿足必要的收斂速度。
每次迭代並非計算訓練集中所有數據，而僅隨機抽取了訓練集中部分樣本數據進行梯度計算，從而可以有效避免陷入局部極小值情況。
然而天下無免費的午餐，魚和熊掌無法兼得，同樣隨機梯度下降算法在平衡精度與迭代次數，犧牲了一部分精度，增加了一定數量的迭代次數（增加的迭代次數遠遠小於樣本總量），換取了整體的優化效率提升。
北京尚學堂科技有限公司成立，現旗下業務覆蓋：JAVA開發技術培訓、高級架構師培訓、大數據雲計算培訓、人工智能python培訓、H5前端開發培訓、項目開發業務、團隊激勵、在線教育集群業務。
尚學堂12大精英團隊，覆蓋IT行業十大領域，實戰團隊240人，服務學員累計超過10萬人，就業合作企業數量500+。
閱讀更多 瘋狂人工智能 的文章
