跳到主要內容

機器學習 Machine Learning

隨著時代與科技的進步，在最近幾年被吵得沸沸揚揚的不外乎就是人工智慧的領域了簡稱AI又稱人工智慧，AI的全名是 Artificial Intelligence。在我們了解什麼是機器學習前 先來聊聊什麼是AI 人工智慧。


什麼是AI 人工智慧?

人工智慧指由人製造出來的機器所表現出來的智慧。通常人工智慧是指透過普通電腦程式來呈現人類智慧的技術。 可以應用範圍廣泛，以下是AI在生活中的例子。

例如:

  • 自動駕駛系統---特斯拉 🚗
  • 無人商店-- Amazon 
  • 臉部辨識系統、生物辨識👀
  • 智慧音箱  --- 小米公司出的小愛同學、Google推出的google 助理
  • 翻譯系統 --- 像是google翻譯，可以根據句子單詞分析並轉換成他國語言。

....等等
人工智慧在定義中是較為廣泛的單詞，機器學習(Machine Learning)比較偏向技術層面的範圍。

機器學習又可以細分為不同種類的學習模式，大致上可以分為三種分別是:

  • 監督式學習 (Supervised Learning)
  • 非監督式學習 (Unsupervised Learning)
  • 強化學習 (Reinforcement Learning)
以下是Google在近幾年發布的影片，內容提到透過機器學習可以應用在多種領域上。

強化學習文章

如果想要繼續了解強化學習 可以參考下列文章 文章從第一章開始詳細介紹什麼是強化學習。😆

什麼是強化學習? 你必須知道的幾件事-Chapter 1 - Intoduction


這個網誌中的熱門文章

Supervised Hebbian Learning-監督式赫布學習

  Hebbian Learning 赫布理論 （英語：Hebbian theory）是一個神經科學理論，解釋了在學習的過程中腦中的神經元所發生的變化。赫布理論描述了突觸可塑性的基本原理，即突觸前神經元向突觸後神經元的持續重複的刺激，可以導致突觸傳遞效能的增加。 因此又稱為 赫布定律 （Hebb's rule）、 赫布假說 （Hebb's postulate）、 細胞結集理論 （cell assembly theory）等 。 Hebb規則是最早的神經網絡學習定律之一。 它是由Donald Hebb在1949年提出的，它是大腦中突觸修飾的一種可能機制，此後一直用於訓練人工神經網絡。 When an axon of cell A is near enough to excite a cell B and repeatedly or persistently takes part in firing it, some growth process or metabolic change takes place in one or both cells such that A’s efficiency, as one of the cells firing B, is increased.  當細胞A的軸突足夠靠近以激發細胞B並反复或持續參與激發它時，一個或兩個細胞中都會發生某些生長過程或代謝變化，從而使A的效率（其中一個激發B）成為可能， 增加。  Linear Associator 輸出的向量為 a = Wp 或是 主要可以構成下圖所示: 公式整理
閱讀完整內容

什麼是強化學習? 你必須知道的幾件事-Chapter 1 - Intoduction

Introduction 人類與環境進行互動，學習環境如何響應我們的行為，並試圖通過自身行為影響將來發生的事，這就是一種互動式的學習方式，是人類獲取知識的主要來源，同時也是幾乎所有學習和智慧化理論的基本思想。強化學習正是一種從互動中學習的計算方法，它更側重於從互動中進行目標導向的學習方式，而不是其他的機器學習方式。 1.1 Reinforcement Learning 強化學習特徵 強化學習就是學習該做什麼，如何將情境對映到動作從而最大化獎勵訊號。試錯搜尋（trial-and-error search）和延遲獎勵（delayed reward）是強化學習兩個最重要的顯著特徵，另一個重要特徵是強化學習並不侷限於孤立的子問題，即： · 學習者不會被告知需要採取哪些行動，而是必須通過嘗試來發現哪些行動可以產生最大的回報； · 當前行動不僅影響即時獎勵，還會影響下一個state，以及後續獎勵； · 明確考慮了目標導向的agent與不確定環境互動的整個問題。 強化學習與其他人工智慧技術的區別 監督學習：是從一組有標記的訓練集中進行學習，目的是讓系統歸納與推斷其響應，使其在訓練集中不存在的樣例下也能正確做出相應action。監督學習是一種重要的學習方式，但其不足以從互動中學習。在互動問題中獲取正確而又代表所有情況的所期望行為的樣例是不切實際的。在未知領域，agent必須能夠從自身經驗中學習才能習得最有益的action。 非監督學習：通常是尋找隱藏在未標記資料集合中的某種結構。雖然強化學習也不需要帶有正確標記的例子，但它的目標是最大化獎勵訊號，而不是試圖找到隱藏的結構。當然，找到agent學習經驗中的隱藏結構也是有用的，但這並不是最終目標。 強化學習的挑戰 探索與開發的權衡（trade-off between exploration and exploitation）。為了獲得大量獎勵，agent必須更傾向於過去嘗試過的行為，並且發現他們能夠有效地產生獎勵。但是要發現這樣的行為，agent必須嘗試以前沒有嘗試過的行為，它必須利用它已經經歷的經驗來獲得獎勵，但也必須進行探索，以便在將來做出更好的選擇。困難在於，任何探索和開發都有可能會失敗，agent必須嘗試各種操作，並逐漸傾向於那些看起來最好的操作。在隨機任務中，必須多次嘗試每一個action以獲得...
閱讀完整內容

Chapter 4 - Dynamic Programming

Dynamic Programming Introduction Dynamic programming (DP) refers to a collection of algorithms that can be used to compute optimal policies given a perfect model of the environment as a MDP 動態編程（DP）是指算法的集合，可在給定環境完美模型（如MDP）的情況下用於計算最佳策略 Consider the environment as a finite MDP, and its dynamics are given by a set of probability p(s’, r|s, a) for all s ∈ 𝒮, a ∈𝒜(𝑠), r ∈ ℛ, and s’ ∈ 𝒮+ 將環境視為有限的MDP，其動態性由一組概率給出 The key idea of DP is the use of value functions to organize and structure the search for good policies. DP的關鍵思想是使用value functions(價值功能)來組織和建構對良好(policies)策略的搜索。 We can easily obtain optimal policies once we have found the optimal value functions which satisfy the Bellman optimality equations 一旦找到滿足Bellman最優性方程的最優值函數，就可以輕鬆獲得最優策略。 4.1 Policy Evaluation(Prediction)
閱讀完整內容