如何理解Geoffrey Hinton的這句話?

時間 2021-05-12 05:28:07

1樓:遠遠馬2.0

這個奇特的問題,我認為,需要從語文上先分析一下Geoffrey老師為什麼說先。。。

Big mistake 應該是池化操被用在卷積神經網路這件事,那麼,

他為什麼有效呢?其實八,池化和卷積如果從對資訊的遍歷上壓根兒沒有區別,他們試圖通過一種引數共享的降維模式收集特徵來表示物件如果把maxpooling 的 kernel看作是乙個取樣點,對應高斯包絡的波前傳遞到該樣本的乙個有限元,我們這時候對這個卷積核內的點的遍歷是有順序的,這樣他有點像MIP演算法把這個kernel裡的值用最大值做了近似,非常符合物理的近似。

他為什麼又是災難呢?池化簡單暴力的對乙個子集的操作融入更多懲罰,對於池化加入CNN,災難性的將卷積操作試圖擬合一種PSF來試圖保留這種位置資訊,被pooling的方式如均勻池化和最大池化無情的帶走了,,,更進一步儘管有unpooling這樣匪夷所思的反操作,但是這種池化操作被加入到CNN,也會隨著迭代增多,問題變得愈加簡單,而也使問題變得無法反轉,更加沒可能求到更好的解哦。。。

實驗:做conv,求其中最大值

做tconv,求其中最大值

做conv+tconv,迴圈6次求其中最大值

做tconv+conv,迴圈6次求其中最大值

做maxpool+unpool,迴圈6次求其中最大值

做unpool+maxpool,迴圈6次求其中最大值

用轉置卷積+卷積和最大池化+上池化處理相同Image

從列印的最大值看,最大池化組合很好的保持了其最大特徵值

池化組合相比於卷積組合在無優化的迭代後保留影象資訊更多因為約束,反過來說,說卷積會給予影象更多學習空間

2樓:老杜

pooling好壞另說,但這句話充滿了人生哲理。

人生很多事情就是這樣,使用錯誤的方法取得了某種成功,這種錯誤經驗會成為人生的毒藥,因為它會讓你把這個當做成功經驗繼續用,直到有一天你因為這個「成功經驗」栽大跟頭。

如何理解 TCP IP, SPDY, WebSocket 三者之間的關係?

龍騰道默默地 TCP是基於IP IP是一種協議,不是IP位址 實現的,HTTP 1.1 SPDY WebSocket HTTP2.0是基於TCP實現的。IP 乙個底層網路定址協議。TCP 乙個相對可靠確保資訊送達 且按順序送達的中層資訊傳輸協議,效能相對於UDP較差。HTTP 1.1 上層網頁資訊傳...

如何理解functional programming裡的currying與partial application

李欣宜 定義乙個多參函式f arg1,arg2 argn 時,如果每個引數argi的型別為ti,這個多參函式最後的返回結果的型別為rtype,那麼可以說f的型別為 t1 t2 tn rtype 這是很多語言對於多參函式的解釋,把這些引數作為乙個tuple或者list傳入,即 t1 t2 tn 型別的...

如何理解 It make A one of Canada s most popular cities to live in ?

加拿大公共健康 這個語法有問題。It makes.A stands for a city s name. 首先,絕對是It makes.然後,回答題主的問題 1 正解 2 最高端要求有範圍的限定,所以平時一般看到的最高端都加定冠詞。但是Canada s已經是個範圍的限定,就不需要了,再舉幾個例子 o...