史丹佛大學機器學習（Machine Learning）上課筆記（四）

本篇為史丹佛大學機器學習（Machine Learning）課程 Lecture 3 的後半段筆記，接續 Lecture 3 前半部的內容。

這是 Lecture 3 的線上課程錄影：

分類與羅吉斯迴歸（Classification and Logistic Regression）

接下來我們要開始介紹分類的問題，這種問題跟迴歸類似，只不過在這裡的 \(y\) 是離散的（discrete）值，而在這裡我們先討論二元分類（binary classification）的問題，也就是 \(y\) 的值只會有兩種（也就是 0 與 1）的狀況，而這邊所講述的概念大部份都可以拓展到多元分類的問題上。

舉個例子來說，如果你想要建立一個垃圾信件的篩選器，那麼 \(x^{(i)}\) 就會是一些電子郵件的特徵，而 \(y\) 的值就是 1 或 0（分別代表該郵件是否為垃圾郵件），這裡的 0 也稱為 negative class，而 1 也稱為 positive class，有時候也用加號（+）與減號（-）表示。在給定 \(x^{(i)}\) 的情況下，對應的 \(y^{(i)}\) 也稱為該 training example 的 label。

羅吉斯迴歸（Logistic Regression）

當然我們也可以不管 \(y\) 是否為離散的變數，直接使用一般的迴歸分析來處理，在一些很特殊的狀況下可能還是可以處理的不錯，例如我們的資料很規則，像下面這張圖這樣，那麼經過迴歸配適之後，我們可以把預測出來的 \(y\) 值用 0.5 來區分，超過 0.5 就視為 1，小於 0.5 則視為 0，在這個例子中可能沒有太大的問題。

但是實際上我們可以很容易就找到一個沒辦法這樣使用的例子，例如上面這個例子我們加上一些 \(x\) 比較大的資料，就會變成下面這樣：

這時候你就會發現用傳統迴歸的方法，配適出來的迴歸線如果還是使用 0.5 為分界的話，就會出現一些問題（中間四筆資料的分類就會是不正確的）。

另外在直覺上，因為我們的 \(y\) 只會有兩種值（\(y \in \{0,1\}\)），如果 \(h_{\theta}(x)\) 出現大於 1 或小於 0 的值，在解釋上也不太合理。

為了解決這樣的問題，我們將 hypotheses \(h_{\theta}(x)\) 改為
\[h_{\theta}(x)=g(\theta^Tx)=\frac{1}{1+e^{-\theta^Tx}}\]
其中
\[g(z)=\frac{1}{1+e^{-z}}\]
稱為羅吉斯函數（logistic function）或 sigmoid function，下面這張圖是這個函數的長相

當 \(z\) 趨近於無限大（\(\infty\)）時，這個 \(g(z)\) 就會趨近於 1，而當 \(z\) 趨近於負的無限大（\(-\infty\)）時，\(g(z)\) 就會趨近於 0，由於這個性質也使得 \(h(x)\) 的值域都介於 0 與 1 之間。仿照之前的做法，令 \(x_0=1\)，我們可以得到 \(\theta^Tx=\theta_0+\sum_{j=1}^n\theta_jx_j\)。

這裡我們是直接使用 \(g\) 這個函數來作為 hypotheses 函數，而除此之外其實任何會從 0 平滑上升到 1 的函數也都可以拿來使用，之所以選擇 \(g\) 的原因在於它具有一些很自然的性質（在之後當我們討論到 GLM 與 generative learning algorithms 時就會看到）。

\(g\) 的微分有一些不錯的性質，這裡先推導一下，之後會用到：
\begin{aligned}
g'(z)=&\frac{d}{dz}\frac{1}{1+e^{-z}}\\
=&\frac{1}{(1+e^{-z})^2}\big(e^{-z}\big)\\
=&\frac{1}{1+e^{-z}} \cdot \Big(1-\frac{1}{1+e^{-z}}\Big)\\
=&g(z)(1-g(z))
\end{aligned}

之前在討論一般的迴歸模型時，我們加入了一些統計上的假設，導出最小平方迴歸就是最大概似估計，這裡也是使用類似的方法。首先假設
\begin{aligned}
P(y=1\mid x;\theta)=&h_\theta(x)\\
P(y=0\mid x;\theta)=&1-h_\theta(x)\\
\end{aligned}
而這兩個式子可以合併為
\[p(y\mid x;\theta)=(h_\theta(x))^y(1-h_\theta(x))^{1-y}\]
假設所有 \(m\) 個 training examples 都是獨立的，我們可以得到 \(\theta\) 的概似函數
\begin{aligned}
L(\theta)&=p(\vec{y}\mid X;\theta)\\
&=\prod_{i=1}^mp(y^{(i)}\mid x^{(i)};\theta)\\
&=\prod_{i=1}^m(h_\theta(x^{(i)}))^{y^{(i)}}(1-h_\theta(x^{(i)}))^{1-y^{(i)}}
\end{aligned}
跟之前的做法類似，經過對數轉換之後，就可以很容易找到它的極大值
\begin{aligned}
l(\theta)=&\log L(\theta)\\
=&\sum_{i=1}^my^{(i)}\log h(x^{(i)})+(1-y^{(i)})\log(1-h(x^{(i)}))
\end{aligned}
跟之前一般迴歸的做法一樣，我們可以使用 gradient ascent，如果以向量的形式來表示，遞迴式可以寫成 \(\theta := \theta+\alpha\nabla_{\theta}l(\theta)\)。因為在這裡我們要找的是最大值，所以在遞迴式中變動項要取成正的（跟之前迴歸的狀況相反）。

接著我們來看只有一組 training example \((x,y)\) 的情況，以及推導出來的遞迴式。
\begin{aligned}
\frac{\partial}{\partial\theta_j}l(\theta)=&\Big(y\frac{1}{g(\theta^Tx)}-(1-y)\frac{1}{1-g(\theta^Tx)}\Big)\frac{\partial}{\partial\theta_j}(\theta^Tx)\\
=&\Big(y\frac{1}{g(\theta^Tx)}-(1-y)\frac{1}{1-g(\theta^Tx)}\Big)g(\theta^Tx)(1-g(\theta^Tx)\frac{\partial}{\partial\theta_j}\theta^Tx\\
=&\big(y(1-g(\theta^Tx))-(1-y)g(\theta^Tx)\big)x_j\\
=&(y-h_\theta(x))x_j
\end{aligned}
這裡帶入剛剛上面推導過的 \(g'(z)=g(z)(1-g(z))\)，所以可以得到
\[\theta_j:=\theta_j+\alpha\big(y^{(i)}-h_\theta(x^{(x)})\big)x_j^{(i)}\]
這個結果如果跟之前的 LMS（least mean squares）演算法所推導出來的遞迴公式比較，你會發現它們是完全一樣的，但他們其實是不一樣的演算法，因為現在這裡的 \(h_\theta(x^{(i)})\) 跟之前不同，它在這裡被定義為一個非線性的函數 \(\theta^Tx^{(i)}\)。而不管怎麼樣，我們以不一樣的演算法與不同的問題，卻推導出相同的遞迴式，確實讓人有點驚訝，這到底是巧合還是另有原因，這個我們在之後討論到 GLM 的時候會來解釋。

補充：感知學習演算法（Perceptron Learning Algorithm）

這裡補充一個相關的演算法，這個演算法在之後講到學習理論時還會再拿來討論。假設我們把上面的羅吉斯迴歸改變一下，讓它的值只會出現 0 與 1，以也就是把 \(g(z)\) 的定義改為一個定限函數（threshold function）
\[
g(z) = \begin{cases}
1 & \mbox{if $z \geq 0$}\\
0 & \mbox{if $z < 0$}
\end{cases}
\]
跟之前一樣令 \(h_\theta(x)=g(\theta^Tx)\)，這樣也可以得到相同的遞迴式
\[\theta_j:=\theta_j+\alpha\big(y^{(i)}-h_\theta(x^{(x)})\big)x_j^{(i)}\]
這個就稱為感知學習演算法（perceptron learning algorithm）。

在 1960 年代，大家曾經爭論過感知學習演算法是否可以描述腦神經的運作，而這種簡單的演算法也可以作為這堂課的一個暖身，雖然它的樣子跟上面演算法都很相似，但它跟羅吉斯迴歸與一般的線性迴歸是完全不一樣的，尤其這種感知學習演算法無法用合理的機率理論來解釋，也沒辦法使用最大概似估計的方式推導。

繼續閱讀：史丹佛大學機器學習（Machine Learning）上課筆記（五）