SVM之旅(2a) - 轉換成最佳化問題篇
Posted in AI, Machine Learning on Jan 15th, 2010
Posted By Mr. Thursday
前兩篇分別定義了機器學習的問題，以及數學基礎知識的補充。這一篇終於要正式介紹，SVM問題定義最佳化問題的這一步驟。
首先讓我們回想一下前兩篇使用的例子，把照片分成兩類的這個學習問題。下面這張圖是最後機器看待這個問題的方式：
紅色和藍色的座標軸，分別代表紅色和藍色的強度座標軸。因為現在每張照片只有紅色和藍色強度兩個特徵，所以每張照片依照這兩個特徵，可以在平面上這個「二度空間」，座落在某個座標點上面。除了座落在平面上某個點以外，在機器學習的訓練階段，每個學習範例，除了本身特徵讓自己座落在空間裡面某個地方以外，還有正確答案的標記，像是在照片分類問題裡面，要分成有橘子和沒有橘子兩類，在上圖中，圈圈代表那一張照片裡面有橘子，叉叉代表那一張範例照片裡面，沒有橘子。
當每張照片都在特徵 (feature)空間裡面找到一個地方以後，範例照片也依照正確答案標記圈圈叉叉以後，在機器訓練階段，未知的東西，就是要求出一條直線，或是在高維度空間裡面，一個超平面(hyper-plane)，這條直線會當成機器在訓練階段求出來的模型 (model)，之後在機器預測階段，會拿來預測特徵空間裡面新加進來的照片，可是這個時候沒有圈圈叉叉，必須要依靠學習出來的直線，在直線右上方預測為有橘子 (也就是預測是圈圈照片的一份子)，在直線左下方，就預測為沒有橘子 (也就是預測為是叉叉照片的一份子)。
那麼現在在訓練階段，機器有每張範例照片的座標點，也有目標要學習出一條直線當作日後預測的模型 (model)，那這個目標和範例們，要怎樣子化成最佳化問題(optimization problem)，也就是把目標化成數學的「目標式」(goal)，範例帶來的條件限制，化成數學的「限制式」(constraint)，請看以下說明。
