1樓：若羽
1、對於模型量化壓縮的方法，資訊瓶頸理論可以算作是一種學說解釋。
2、對於貝葉斯深度學習，資訊瓶頸方法基於互信襲，同時也建模了深度學習的不確定性。
3、知道哪些特徵是相關可解釋的，哪些特徵是冗餘的，又可以和對抗樣本結合起來。
2樓：柳楓
小白提出點自己的看法，求大神輕拍。
表示對於先記住，再壓縮的說法表示有點不理解，按照這個說法的意思就是先擬合後泛化。但是在實際訓練中，我們往往遇到的情況是當你的training error足夠小的時候，往往test error也已經不在下降，如果繼續訓練，就會導致過擬合，泛化效能會受到影響。
3樓：薈萃
資訊瓶頸分兩步：先擬合（Fitting），再壓縮（Compression）
擬合就是把所有資訊都記住（先把書讀厚）
壓縮就是把無關資訊都忘掉（再把書讀薄）
這樣一記一忘之後留下來的就是知識！
這就是人類從資訊中提取知識的過程，
也是人類學習的方式，
原來深度學習也是這樣學習的，
資訊瓶頸嘗試從理論上證明上述過程。
比如看到上面這段話（資訊）
過後只記得一記一忘（知識）
那就是完成了學習過程，逃，：）
如何通俗地解釋 C C C Java JavaScript HTML Python的用處？
Archeus 程式語言總的來說是跟計算機硬體互動的語言。比如 傳送 你好 小明 不同的計算機語言的單詞，標點，語法不同。它們各有各的側重點，有的擅長網路通訊，有的擅長顯示影象，有的語法嚴謹，有的簡約易用。對於想入門卻又不知道選哪門語言的同學，我的建議是 在當前流行的語言當中任選一門立刻開始學習，不...
如何通俗解釋張量密度？
mcxzx 張量密度就是乙個將體元對映到乙個k,l型張量的齊次對映，齊次的次數就是密度的權 這裡體元就是反映 塊 面積 體積 測度大小的量，張量密度隨著它變化而變化。假設有 維流形 令 代表流形 上的全體光滑 k,l 型張量場，代表 上的全體體元 n 形式 注意所有體元之間只差乙個標量場。那麼乙個權...
如何通俗的解釋注定論？
注定論是極端唯物主義的必然結果。當你接受了宇宙萬物都是圍繞著乙個大一統規律演化時，從宇宙奇點演化到今天我寫這條知乎，只不過是宇宙物理規律在時間上的積累罷了。對抗這種思想，我認為只能去系統的學習量子力學和相對論 龍兒 我們的成長，受父母，老師，朋友，世俗，偏見，教育等等影響，二十多性格就定型了，大多數...