1樓：DomainAdaptation
題主所說的應該是非凸的0-1損失函式和相應的替代損失函式吧。
在非代價敏感的分類的問題中，我們最容易想到就是用0-1損失函式來度量錯分樣本的損失。但由於0-1損失非凸，不好優化，於是人們採用了一系列的替代損失函式(surragate loss function)來替代0-1損失。常見的替代損失函式有logistic loss，hinge loss，exponential loss，square loss等等。
這些替代損失函式有3個特性：
1，凸函式 ---> 保證優化問題的區域性最優解也是全域性最優解；
2，0-1損失的上界 ---> 保證降低替代損失經驗風險的過程中，0-1損失的經驗風險也可以得到降低；
3，在原點處可導且該點的導數值小於0 --> 這實際上是替代損失函式一致性的充要條件。
下面著重說第3點，我想可能是題主最關心的問題。所謂替代損失函式的一致性(consistency)，是指最小化該替代損失函式的期望風險，能夠匯出貝葉斯最優分類器。而貝葉斯最優分類器正是最小化0-1損失的期望風險所匯出的分類器。
又由於大數定律架接了經驗風險和期望風險的關係，所以對替代損失函式進行優化，就相當於對0-1損失進行優化。
邏輯回歸損失函式為什麼使用最大似然估計而不用最小二乘法？
遊衍莫忘 說點自己的理解，邏輯回歸中的最小二乘為什麼不一定是convex 假如有乙個資料集如圖所示，紅色代表1，藍色代表0，我們大概可以知道最優的解是 假如我們的損失函式是最小二乘，也就是 初始值是，上面被判定為1，下面被判定為0。我們從開始找損失函式最小，很容易找到 此時我們面臨乙個艱難的選擇，要...
Python 裡為什麼函式可以返回乙個函式內部定義的函式？
鋼鐵直男劉昊然 自界說函式的呼叫是經過訪問自界說函式名來完成的，變數 函式名 參量1，參量2，明顯，與呼叫子程式的辦法不同，自界說函式的呼叫遵從內部函式 如Sin Sqr Tan等 的呼叫規矩，自帶參量也有必要用圓括號括起來。參量可所以常量 變數 表示式或陣列變數名。資料的型別應與子程式界說時的參量...
程式設計的函式和數學的函式為什麼都叫函式？
哲學嘉 本質是一樣的，電腦程式的函式概念基於數學上的函式，只不過加了一些操作在裡面，所以變得跟數學上的函式有點不一樣 計算機中的函式包含輸入 輸出 資料處理還有操作 比如輸出到螢幕 而數學上的函式只關注數。在數學上，輸入 資料處理 輸出，這三者缺少任何乙個都是沒有意義的，而在電腦程式裡，就算你輸入 ...