Posted in AI, Machine Learning on Jan 15th, 2010
Posted By Mr. Thursday
前兩篇分別定義了機器學習的問題，以及數學基礎知識的補充。這一篇終於要正式介紹，SVM問題定義最佳化問題的這一步驟。
首先讓我們回想一下前兩篇使用的例子，把照片分成兩類的這個學習問題。下面這張圖是最後機器看待這個問題的方式：
紅色和藍色的座標軸，分別代表紅色和藍色的強度座標軸。因為現在每張照片只有紅色和藍色強度兩個特徵，所以每張照片依照這兩個特徵，可以在平面上這個「二度空間」，座落在某個座標點上面。除了座落在平面上某個點以外，在機器學習的訓練階段，每個學習範例，除了本身特徵讓自己座落在空間裡面某個地方以外，還有正確答案的標記，像是在照片分類問題裡面，要分成有橘子和沒有橘子兩類，在上圖中，圈圈代表那一張照片裡面有橘子，叉叉代表那一張範例照片裡面，沒有橘子。
當每張照片都在特徵 (feature)空間裡面找到一個地方以後，範例照片也依照正確答案標記圈圈叉叉以後，在機器訓練階段，未知的東西，就是要求出一條直線，或是在高維度空間裡面，一個超平面(hyper-plane)，這條直線會當成機器在訓練階段求出來的模型 (model)，之後在機器預測階段，會拿來預測特徵空間裡面新加進來的照片，可是這個時候沒有圈圈叉叉，必須要依靠學習出來的直線，在直線右上方預測為有橘子 (也就是預測是圈圈照片的一份子)，在直線左下方，就預測為沒有橘子 (也就是預測為是叉叉照片的一份子)。
那麼現在在訓練階段，機器有每張範例照片的座標點，也有目標要學習出一條直線當作日後預測的模型 (model)，那這個目標和範例們，要怎樣子化成最佳化問題(optimization problem)，也就是把目標化成數學的「目標式」(goal)，範例帶來的條件限制，化成數學的「限制式」(constraint)，請看以下說明。
Read Full Post »
Posted in AI, Machine Learning on Jan 11th, 2010
Posted By Mr. Thursday
在SVM之旅(1) - 問題定義篇裡面，把機器學習怎樣子提出問題和解決問題的想法，稍微介紹了一下，簡單地說就是有已知，有未知，在訓練階段想要經由範例所提供的已知和未知的正確對應，學習出一個模型。在我們舉的例子裡面，學到的模型是用平面上的一條直線來表示，而這條直線在應用和預測的階段，就會拿來預測沒有正確答案的未知的東西。
這篇文章則是再進入第二個景點，也就是SVM問題定義之前，想要多作一些補充說明，因為SVM問題正式的定義，無可避免地一定會使用到數學符號，然而有些讀者可能對SVM有興趣，可是大部分數學背景已經忘的差不多了，因此這篇文章希望像是鐵路局週末加開的列車一般，讓數學快忘記的讀者，可以裝滿彈藥，後面的文章也就能夠勝任有餘，對數學沒有恐懼感，反而覺得親切囉！
本篇文章大致會介紹下面幾點：(1) 將上次問題定義的符號稍作調整，方便下篇討論的符號使用。(2) 平面上的直線怎樣子把平面上的點分成左右兩邊。(3) 「空間」的概念，以及如何從平面的二度空間，進一步理解三度空間，甚至更高維度的空間概念。
Read Full Post »
Posted in AI, Machine Learning on Jan 5th, 2010
Posted by Mr. Thursday
各位2010年新年快樂！今天要和大家一起拜訪SVM第一個景點 — 問題定義篇。在之前有先把整個SVM之旅的各景點做個大綱介紹，今天是第一個景點，我們要先把SVM想解的問題定義清楚再繼續往下走。
(1) - (1) 從「已知」到「未知」
所謂SVM是Support Vector Machine的縮寫，中文可以翻成「向量支援機」，是一種機器學習的演算法。我們先談談機器學習的動機好了。機器學習 (Machine Learning) 顧名思義，就是想讓機器如同人類一樣具有智慧，有學習能力，可以幫助人類自動化完成一些原來人力才能完成的事情。
然而機器和人類，為什麼要先學習呢？因為機器和我們一樣有各種接觸外界的輸入裝置，像人類有眼睛可以看，有耳朵可以聽，看的到的聽的到的，就是我們的「已知」。然而我們想要解決的事情，常常是看不見聽不到，「未知」的事情。譬如說一堆還沒照年代排序好的書本，我們看的到每一本書的出版日期，是「已知」，然而把書本排好，在解決問題之前，就是「未知」的部分了。又如同今天股市收盤價，是我們的「已知」，但是明天股價會漲還是跌？未來的事情，尚未解決，就是「未知」了。
接著又因為我們有學習的能力，因此無論是尚未完成的事情，還是未來的事情，還是物品分類的事情，只要我們有智慧學習，都可以從「已知」來求得「未知」的事物。人類上課學習，機器如何學會的這們學問，就稱為「機器學習」吧！
(1) - (2) 機器學習兩階段–訓練和預測
Read Full Post »
Posted in AI, Machine Learning on Dec 23rd, 2009
Posted By Mr. Thursday
在〈機器學習與腦機介面的願景〉裡面曾經稍微提到一下SVM，最近筆者正在重新複習SVM當中，因此打算寫幾篇相關文章，就SVM這個主題，做一些簡介。本篇文章會先整理一下Google到的相關資源，以及針對SVM數學部分，做一個大鋼的整理，猶如旅行之前，先安排一下行程，真正旅行的時候在一個個景點拜訪，出發之則是有個行程表，讓旅行途中有個目標，不至於迷路了！
接下來讓我們先看看網路上有哪些SVM簡介相關的資源吧！
SVM相關網路資源
Read Full Post »
