1樓：努力上進的碼農
我也曾思考過同樣的問題。
小資料集下可能存在很大的bias，效能不錯的模型必須有一定假設。個人覺得這個情況下生成模型會比判別模型效果好。
樓主可以參考學習下貝葉斯體系下生成模型，變分推斷，近似推斷等等。
雖然這些方法都有做了很強的假設，而且會「腦補」一些沒有看到資料，但是這個不就是在小資料集下面的優勢嗎？
2樓：小豬真的不佩奇
有啊！比如軟工和程式語言設計領域最近興起的programming by examples，從學習模式上看，應該算超小資料集的機器學習吧。
3樓：
有啊，圖模型一支的基本都是，不過說白了，機器學習這玩意， 不是看先驗就是看似然。資料量少了，先驗就多。先驗一多，就容易折騰不明白
4樓：小賴sqLai
貝葉斯肯定是一種，lda相比plsa就是大幅度減少了樣本量。
其實深度學習裡也有這方面的研究，few shot learning或者one shot learning。robot learning那邊其實也蠻關注這個問題。
另外在某些情況下，無監督學習和半監督學習也可以視為小樣本學習，因為很多時候資料獲取不難，只不過標註比較麻煩而已。
5樓：覃含章
這是非貝葉斯框架下深度學習目前很無力的領域，我所知道的乙個答案是所謂的Optimal Learning領域。
乙個著名山頭是Prof. Warren Powell, Peter Frazier等人建立的。已有很完善的理論和成功的實際應用，就比如你說的罕見病領域，每一次trial的成本都極高，樣本稀少，這也是optimal learning之名稱來由。
一般需要貝葉斯的先驗分布假設（如Gaussian Process）。
有空我再來補充具體理論框架和實際應用，當然其實可以直接看他們的textbook入門啦，寫的還是比較通俗的。
學習大資料需要學習機器學習嗎
Hong 個人經驗 如果你的職業規劃明確 想做big data engineer,那大概率你用不上機器學習的知識，就是遇上了扔給Data Scientist就好 而相反的如果你想做大資料分析 Data Scientist big data analysts 機器學習就是必須的了 而且你首先應該是個及...
機器學習資料預處理的目的是什麼？
深藍遠景 採集來的資料有時候不一定完整，比如醫療資料，有時候沒錄上，有時候隨便寫個數字，也有乙個特徵有資料其他全部為0的資料，這些資料在訓練的時候會影響模型的效率和結果，所以需要預處理 花月正春風 你要知道這樣一句話，機器學習的上限取決於資料特徵本身，也就是說，機器學習的天花板就是由好的資料特徵決定...
有哪些好用的機器學習和資料探勘工具？
BattlesNeo 免費的免費的 Rapid Miner IBM SPSS Modeler Oracle Data Mining Teradata Framed Data Kaggle Weka Rattle KNIME Python 謝冬梅 Daily Life imblearn,albumen...