1樓：
沒感覺這文章真的觸及了深度學習好用的本質....在我看這裡的結論仍然只是表象。
不過很多人也真是太相信這些大佬們的背書了...這個IB被炒了一陣子，Capsule又被炒了一陣子，然後SNGAN...接下來又是啥？
2樓：2prime
問幾個問題。。
沒人覺得這篇文章寫的很有問題嗎
比如SGD的diffusion是在parameter space上，和diffusion帶來多餘資訊是兩個概念。。。。
3樓：荊慢慢2.1
不知道有沒有考慮先驗知識在學習中的作用。
比如分析乙個燈光下的物體，我們能輕易地利用已有經驗把影子從圖中排除掉。
也就是先利用一次已學得的知識，再將圖作為學習內容。
4樓：薈萃
資訊瓶頸分兩步：先擬合（Fitting），再壓縮（Compression）
擬合就是把所有資訊都記住（ @sli.zh 提到的先把書讀厚）壓縮就是把無關資訊都忘掉（ @sli.zh 提到的再把書讀薄）這樣一記一忘之後留下來的就是知識！
這就是人類從資訊中提取知識的過程，
也是人類學習的方式，
原來深度學習也是這樣學習的，
資訊瓶頸嘗試從理論上證明上述過程。
比如看到上面這段話（資訊）
看完只記得一記一忘（知識）
那就是完成了學習過程，逃，：）
如何評價國產的深度linux
使用深度，是在群裡聽某大佬說自己用這個系統就是想著自己裝乙個體驗下，安裝的虛擬機器，真機未體驗過。還不錯，畢竟基礎還是Linux只是發行版不一樣，有一些使用者體驗上的細節和部分問題需要不斷更新改進，部分軟體更新有些滯後 感覺國內缺少生態，缺少使用環境和缺少更廣泛的人群，從教育學校這個基礎層面入手是一...
如何評價最近開啟測試的鬼泣 巔峰之戰？
Der Beobachter 特別針對該問題下某些回答 提及 閃避優先順序低 的答主一定不是熟練的鬼泣玩家，甚至可能是雲玩家。作為真正想要精進鬼泣的空戰玩家而言，全作最強的取消技能jc是所有技能裡優先順序最高的取消技能，是每乙個空戰玩家的必備操作 在鬼泣裡，大多數技能的空中地面後搖無法通過dash，...
如何評價Sony新出的深度學習庫NNabla？
周瑞建 C 介面編譯和使用起來很方便，幾乎不依賴其他庫，比tensorflow 的介面方便多，GPU 記憶體利用率也高很多，我的硬體很落伍，能省就省 Abakus 試了一下，目前功能比較欠缺，連多gpu訓練也不支援，好像自定義介面也沒完全確定。但是單gpu跑convnet的確快，算乙個優點。 輕歌曼...