周志華《機器學習》38頁關於二項檢驗的公式 2 27 是否有誤?

時間 2021-05-30 14:42:51

1樓:GuoQW

符號: 代表泛化錯誤率, 代表測試錯誤率, 是某次進行實驗得到的測試錯誤率。

現假設 ( 是猜測值),得到下式:

,這符合二項分布,接著利用下式計算拒絕域下限

,若 時,拒絕假設 (即某次實驗出現該情形,有理由拒絕原假設);否則,不支援拒絕假設(出現在非拒絕域不代表接受原假設)。

周志華教授《機器學習》(第一版第31次印刷, 2023年9月)38頁關於二項檢驗的公式(2.27)是否有誤? - 知乎 https://www.

zhihu.com/question/287895170/answer/763223175勘誤中的max也請參考上述推薦答案,就是求 。

2樓:PYL

簡單版:公式有誤。從式2.

27前面的「則在1- 的概率內所能觀測到的最大錯誤率如下式計算」和式2.27後面「若測試錯誤率 小於臨界值 」可以看出 是 的上限,但式2.27表達的是 是 的上限,兩者不符。

但按假設檢驗的任務來看,應該是用觀察到的測試值去判斷假設是否應該接受。所以,文字表述部分才是正確意思,公式是錯的。

複雜版:我嘗試從「 、 、 、這幾個數分別是怎麼來的、起什麼作用」的角度來解釋一下,看看能否講明白。

1. 泛化錯誤率是學習器的內在屬性。它是乙個客觀存在的值,但這個值我們測不到。

這也就是為什麼我們要提出「對 進行假設檢驗」這一問題。假設檢驗的任務,就是(以某種準確度)對 進行猜測。

2. 是人為指定的乙個數值,用於作為 的猜測值(等於、不大於、不小於),是題幹的一部分。例如「 :

=0.5」這個假設中的0.5就是這個 值,這個問題問的是「 等於0.

5嗎」。

3. 是 的一次觀測值,它和 肯定有某種內在的聯絡,所以我們後面要根據它的表現去判斷關於 的假設。

4. 臨界值按照文字描述,是 的上限,而不是公式所示 的上限。先舉乙個假設檢驗的例子。

有一枚硬幣,我們提出假設「它是均勻的,即丟擲正面的概率是p=0.5」,我們要用觀測值來驗證這個假設。比如拋1000次,我們要得到幾次正面,才能說這個假設不成立呢?

理論上不管得到幾次正面都不能說這個假設不成立,因為我們可以得到[0,1000]中任何次數的正面,只是概率不同而已。但生活經驗告訴我們,如果真的丟擲0次或1000次正面,我們就有理由懷疑這枚硬幣不是均勻的,即拒絕原假設(這也是「第一類錯誤概率是 」的原因,具體可以看我另乙個答案)。具體地,我們可能丟擲[450,550]次正面才接受原假設,在此範圍之外都拒絕原假設。

回到本問題,我們要用觀測值 驗證「 」,理論上 可以取[0,1]的任何值,但實際上我們要在 小於等於某個值的時候才接受原假設,這個值就是 。然後就是這個 如何計算出來。拒絕域是在 大於某個值的範圍,所以我們計算類似於圖2.

6那樣的右側陰影部分,但下限不是圖中的 。如圖可見我們向左擴充套件陰影部分時,陰影部分概率和增加,但我們需要陰影部分概率和不超過 ,所以向左擴充套件有個下限。實際上我們的陰影部分下限就是 ,拒絕域的下限就是「接受域」的上限,即 以下接受以上拒絕,這很自然。

總結一下此處假設檢驗的流程:就是先提出「 」這一假設,然後用測試值 來驗證這一假設。驗證的原則是 小於某個臨界值,就能以 的準確度接受這個假設。

比如 值在 時(瞎編的資料),就可以說 ,但這個說法不是絕對正確的,而是有 的正確度。

機器學習(周志華)第2 3 4節中,代價曲線的理解?

Honfung.Wong 我想講人話,也就是用不那麼 數學 的方法來直白地解釋下這些問題。顯而易見,書中公式 2.25 定義了 是關於 FNR FPR 和正例概率 p 的一次函式,圖 2.5 上左右端點分別是 p 0 和 p 1 的情形。故易得出結論。圖 2.5 中,橫軸為 正例概率代價 縱軸為 歸...

南大周志華的《機器學習》這本書怎麼樣?

這學期學完了1 9章,期末臨考前又預習了一遍233,預習這本書時對這本書有很多抱怨,推導不細,讀不懂等等,但當我認真過了一遍這9章之後,我體會到了周志華老師的用心 態度和努力,相信老師在生活中也是一位很好的人。個人覺得用心的地方在於 一是這本書很寬,在兩側留足了記筆記的空白地方。二是兩側很多地方加入...

機器學習方向,南大周志華組lamda實驗室vs申請國外cs?

我覺得LAMDA提供了乙個很好的科研環境,這是毋庸置疑的。最簡單的地方 錢夠,現在搞深度學習怎麼也得一人幾塊GPU吧,在這種硬體條件方面,LAMDA不會讓學生吃苦的,而某些學校的組裡連一人都分不到一塊GPU。當然這是乙個說明LAMDA硬體條件的乙個case。LAMDA的硬體條件與環境氛圍我想在國內也...