怎樣才能想出乙個全新的機器學習模型演算法？

1樓：

首先你需要好好地精通機器學習的框架思路。

然後你練習一下把幾乎所有的機器學習演算法總結為上面三個關鍵點刻畫的框架下的special case。例如邏輯回歸：假設空間=x線性函式；損失函式=交叉熵損失函式（也對應於負似然函式）；優化技術=梯度下降等；又例如決策樹：

決策樹對假設空間的侷限非常小，損失函式的定義也可以很靈活。決策樹的主要思想對應於用乙個貪婪的啟發式搜尋方式把乙個假設（決策區域的劃分）給學出來。而帶正則化項的演算法（例如LASSO）則可以看做是損失函式的優化（有時候也可以看做是假設空間的約束）

所以到這裡你可以想一想，是否可以通過設計創新並合理的假設空間，或損失函式，或最優假設的搜尋方式來實現乙個新的機器學習演算法。

-- 恭喜你，到這一步，你可能成為了乙個研究機器學習演算法並擁有一定創新能力的入門級別者

其次，你可以好好鑽研一下統計理論。有太多傳統機器學習演算法都得益於統計理論的發展。其實機器學習的思想也可以從概率分布的角度去闡述，如下圖：

機器學習對於要刻畫的x與t之間的真相函式g(x)常常被統計理論用乙個概率分布p(x,t)來刻畫。於是機器學習演算法的目標就變得很純粹了：概率分布函式的估計。

通過機器學習理論裡的「決策論」這個知識點，我們可以推出機器學習演算法的目標總是聚焦於對t的後驗概率分布p(t|x)的估計上。而乙個通用的估計這個分布的方法就是引數化這個分布，也就是假設它符合某個分布族。然後利用最大似然估計或最大後驗估計技術將引數給估計出來做點估計。

或者更高階一點做貝葉斯估計。

體會到這裡，你需要又開始將傳統的機器學習演算法用統計理論的角度去解釋看看。例如Ridge Regression實際上對應於將p(t|x, w)假設為乙個高斯分布，線性權重向量w作為分布的引數。然後配合乙個高斯分布作為w的先驗分布。

那麼對w的最大後驗估計就變成了Ridge Regression。也就是平方損失加上二範數正則化那個損失函式。

之後，貝葉斯網路那一套的理論你就可以好好地學一學，然後把高斯混合分布，LDA，等等演算法給嘗試用統一的混合模型的解決思路給帶一帶。

再然後，結合你對於統計理論的理解，就可以好好地想一想如何突破地設計創新的機器學習演算法了，例如是不是試著用一用新的概率分布族來作為資料的分布假設，當然也需要推出在這個假設下如何對分布的引數進行求解（這可能需要你精通EM，變分法，Gibbs近似取樣等技術）

-- 恭喜你，到這一步，你可能成為了乙個研究機器學習演算法並擁有一定創新能力的中級級別者

以上其實都是作者對於在一些傳統機器學習演算法的改進思路。其餘一些往更高一些地方進軍的方向包括對深度神經網路，強化學習，優化技術的專門的創新想法。留待以後補充。

2樓：王sir說大資料

各個機器學習大神比如， Michael I.Jordan 、Jeff Dean、李飛飛、LeCun等等，通通理解透徹，這是第一步。

將理論應用於實際，這需要5到10年以上才能看到效果，然後體會其中的不足，這是第二部

將不足之處，進行優化，提出來自己的解決方案並進行應用到實際中，確認已經解決問題，也就是你說的建模，這可能還得需要 4年以上，這是第三部

大部分人，第一步就放棄了

3樓：原野與草叢

幾個基礎條件

1）理解NP問題解決的需求

2）理解現實難題的需求

3）理解研究難題的需求

4）理解特定研究者群體的需求

5）數學工具集群

6）交叉學科集群

4樓：輕風俠客

個人感覺比較靠譜的路徑是從仿生學出發，在自然界中尋求方法，機器學習-人工智慧演算法的能力與當前自然界所存在的尚有極大差距。