史丹佛大學機器學習(Machine Learning)上課筆記(四)

本篇為史丹佛大學機器學習(Machine Learning)課程 Lecture 3 的後半段筆記,接續 Lecture 3 前半部的內容。

史丹佛大學 Logo

這是 Lecture 3 的線上課程錄影:


分類與羅吉斯迴歸(Classification and Logistic Regression)

接下來我們要開始介紹分類的問題,這種問題跟迴歸類似,只不過在這裡的 \(y\) 是離散的(discrete)值,而在這裡我們先討論二元分類(binary classification)的問題,也就是 \(y\) 的值只會有兩種(也就是 0 與 1)的狀況,而這邊所講述的概念大部份都可以拓展到多元分類的問題上。

舉個例子來說,如果你想要建立一個垃圾信件的篩選器,那麼 \(x^{(i)}\) 就會是一些電子郵件的特徵,而 \(y\) 的值就是 1 或 0(分別代表該郵件是否為垃圾郵件),這裡的 0 也稱為 negative class,而 1 也稱為 positive class,有時候也用加號(+)與減號(-)表示。在給定 \(x^{(i)}\) 的情況下,對應的 \(y^{(i)}\) 也稱為該 training example 的 label。


羅吉斯迴歸(Logistic Regression)

當然我們也可以不管 \(y\) 是否為離散的變數,直接使用一般的迴歸分析來處理,在一些很特殊的狀況下可能還是可以處理的不錯,例如我們的資料很規則,像下面這張圖這樣,那麼經過迴歸配適之後,我們可以把預測出來的 \(y\) 值用 0.5 來區分,超過 0.5 就視為 1,小於 0.5 則視為 0,在這個例子中可能沒有太大的問題。
但是實際上我們可以很容易就找到一個沒辦法這樣使用的例子,例如上面這個例子我們加上一些 \(x\) 比較大的資料,就會變成下面這樣:
這時候你就會發現用傳統迴歸的方法,配適出來的迴歸線如果還是使用 0.5 為分界的話,就會出現一些問題(中間四筆資料的分類就會是不正確的)。

另外在直覺上,因為我們的 \(y\) 只會有兩種值(\(y \in \{0,1\}\)),如果 \(h_{\theta}(x)\) 出現大於 1 或小於 0 的值,在解釋上也不太合理。

為了解決這樣的問題,我們將 hypotheses \(h_{\theta}(x)\) 改為
\[h_{\theta}(x)=g(\theta^Tx)=\frac{1}{1+e^{-\theta^Tx}}\]
其中
\[g(z)=\frac{1}{1+e^{-z}}\]
稱為羅吉斯函數(logistic function)或 sigmoid function,下面這張圖是這個函數的長相
當 \(z\) 趨近於無限大(\(\infty\))時,這個 \(g(z)\) 就會趨近於 1,而當 \(z\) 趨近於負的無限大(\(-\infty\))時,\(g(z)\) 就會趨近於 0,由於這個性質也使得 \(h(x)\) 的值域都介於 0 與 1 之間。仿照之前的做法,令 \(x_0=1\),我們可以得到 \(\theta^Tx=\theta_0+\sum_{j=1}^n\theta_jx_j\)。

這裡我們是直接使用 \(g\) 這個函數來作為 hypotheses 函數,而除此之外其實任何會從 0 平滑上升到 1 的函數也都可以拿來使用,之所以選擇 \(g\) 的原因在於它具有一些很自然的性質(在之後當我們討論到 GLM 與 generative learning algorithms 時就會看到)。

\(g\) 的微分有一些不錯的性質,這裡先推導一下,之後會用到:
\begin{aligned}
g'(z)=&\frac{d}{dz}\frac{1}{1+e^{-z}}\\
=&\frac{1}{(1+e^{-z})^2}\big(e^{-z}\big)\\
=&\frac{1}{1+e^{-z}} \cdot \Big(1-\frac{1}{1+e^{-z}}\Big)\\
=&g(z)(1-g(z))
\end{aligned}

之前在討論一般的迴歸模型時,我們加入了一些統計上的假設,導出最小平方迴歸就是最大概似估計,這裡也是使用類似的方法。首先假設
\begin{aligned}
P(y=1\mid x;\theta)=&h_\theta(x)\\
P(y=0\mid x;\theta)=&1-h_\theta(x)\\
\end{aligned}
而這兩個式子可以合併為
\[p(y\mid x;\theta)=(h_\theta(x))^y(1-h_\theta(x))^{1-y}\]
假設所有 \(m\) 個 training examples 都是獨立的,我們可以得到 \(\theta\) 的概似函數
\begin{aligned}
L(\theta)&=p(\vec{y}\mid X;\theta)\\
&=\prod_{i=1}^mp(y^{(i)}\mid x^{(i)};\theta)\\
&=\prod_{i=1}^m(h_\theta(x^{(i)}))^{y^{(i)}}(1-h_\theta(x^{(i)}))^{1-y^{(i)}}
\end{aligned}
跟之前的做法類似,經過對數轉換之後,就可以很容易找到它的極大值
\begin{aligned}
l(\theta)=&\log L(\theta)\\
=&\sum_{i=1}^my^{(i)}\log h(x^{(i)})+(1-y^{(i)})\log(1-h(x^{(i)}))
\end{aligned}
跟之前一般迴歸的做法一樣,我們可以使用 gradient ascent,如果以向量的形式來表示,遞迴式可以寫成 \(\theta := \theta+\alpha\nabla_{\theta}l(\theta)\)。因為在這裡我們要找的是最大值,所以在遞迴式中變動項要取成正的(跟之前迴歸的狀況相反)。

接著我們來看只有一組 training example \((x,y)\) 的情況,以及推導出來的遞迴式。
\begin{aligned}
\frac{\partial}{\partial\theta_j}l(\theta)=&\Big(y\frac{1}{g(\theta^Tx)}-(1-y)\frac{1}{1-g(\theta^Tx)}\Big)\frac{\partial}{\partial\theta_j}(\theta^Tx)\\
=&\Big(y\frac{1}{g(\theta^Tx)}-(1-y)\frac{1}{1-g(\theta^Tx)}\Big)g(\theta^Tx)(1-g(\theta^Tx)\frac{\partial}{\partial\theta_j}\theta^Tx\\
=&\big(y(1-g(\theta^Tx))-(1-y)g(\theta^Tx)\big)x_j\\
=&(y-h_\theta(x))x_j
\end{aligned}
這裡帶入剛剛上面推導過的 \(g'(z)=g(z)(1-g(z))\),所以可以得到
\[\theta_j:=\theta_j+\alpha\big(y^{(i)}-h_\theta(x^{(x)})\big)x_j^{(i)}\]
這個結果如果跟之前的 LMS(least mean squares)演算法所推導出來的遞迴公式比較,你會發現它們是完全一樣的,但他們其實是不一樣的演算法,因為現在這裡的 \(h_\theta(x^{(i)})\) 跟之前不同,它在這裡被定義為一個非線性的函數 \(\theta^Tx^{(i)}\)。而不管怎麼樣,我們以不一樣的演算法與不同的問題,卻推導出相同的遞迴式,確實讓人有點驚訝,這到底是巧合還是另有原因,這個我們在之後討論到 GLM 的時候會來解釋。

補充:感知學習演算法(Perceptron Learning Algorithm)

這裡補充一個相關的演算法,這個演算法在之後講到學習理論時還會再拿來討論。假設我們把上面的羅吉斯迴歸改變一下,讓它的值只會出現 0 與 1,以也就是把 \(g(z)\) 的定義改為一個定限函數(threshold function)
\[
g(z) = \begin{cases}
1 & \mbox{if $z \geq 0$}\\
0 & \mbox{if $z < 0$}
\end{cases}
\]
跟之前一樣令 \(h_\theta(x)=g(\theta^Tx)\),這樣也可以得到相同的遞迴式
\[\theta_j:=\theta_j+\alpha\big(y^{(i)}-h_\theta(x^{(x)})\big)x_j^{(i)}\]
這個就稱為感知學習演算法(perceptron learning algorithm)。

在 1960 年代,大家曾經爭論過感知學習演算法是否可以描述腦神經的運作,而這種簡單的演算法也可以作為這堂課的一個暖身,雖然它的樣子跟上面演算法都很相似,但它跟羅吉斯迴歸與一般的線性迴歸是完全不一樣的,尤其這種感知學習演算法無法用合理的機率理論來解釋,也沒辦法使用最大概似估計的方式推導。

繼續閱讀:史丹佛大學機器學習(Machine Learning)上課筆記(五)
本站已經搬家了,欲查看最新的文章,請至 G. T. Wang 新網站