1樓：
首先，資訊瓶頸理論並不新，2023年即提出來了[1]。
從資訊理論角度看，資訊瓶頸理論是信源壓縮的率失真理論的一種拓展，將期望失真D的約束拓展為相關資訊的約束。具體區別如下圖所示。
資訊瓶頸理論利用「相關資訊」對「學習特徵」的優劣給出了形式化、可量化的描述。特徵的「保真度」和「壓縮率」之間的權衡可以通過調節β實現。特徵的「優劣」取決於具體的任務。
但是問題是：擴充套件BA演算法需要計算互資訊。一般情況下的互資訊計算非常困難（離散條件或者聯合高斯分布例外）。
因此在2023年左右Tishby提出資訊瓶頸理論[1]後，也有若干文獻考慮了互資訊的近似計算，從而在機器學習領域實用，例如變分資訊瓶頸上界用於解釋深度神經網路的監督學習[2]。
[1] Tishby N, Pereira F C, Bialek W. The information bottleneck method[J]. arXiv preprint physics/0004057, 2000.
[2] Alemi A A, Fischer I, Dillon J V, et al. Deep variational information bottleneck[J]. arXiv preprint arXiv:
1612.00410, 2016.
如何解釋通俗的解釋資訊瓶頸方法？
若羽 1 對於模型量化壓縮的方法，資訊瓶頸理論可以算作是一種學說解釋。2 對於貝葉斯深度學習，資訊瓶頸方法基於互信襲，同時也建模了深度學習的不確定性。3 知道哪些特徵是相關可解釋的，哪些特徵是冗餘的，又可以和對抗樣本結合起來。 柳楓 小白提出點自己的看法，求大神輕拍。表示對於先記住，再壓縮的說法表示...
如何看待知乎使用者 資訊門下走狗 的理論和行為？
袁進輝 粗略的了解了一些他的觀點，我覺得 他關心的問題是正確的，why deep learning works?解決問題的大方向也是正確的，我相信這個問題最後的解答應該是距離資訊理論，微分流形，微分幾何不太遠。我也曾對這樣的問題研究過一段時間，但理論要求超越了我的能力。更正 上面的微分幾何改成資訊幾...
如何看待資訊
利益相關，匿了 大會震撼我 別的沒啥，校長信箱最後到了導員手裡 行唄，就這樣唄 沒準備換，也沒有換的理由。煩的是大中午的強制把人拉過去開會，一天的課時間是真的不夠。匿名了怕查水表 換宿舍，就得要有原因。可能有換了宿舍的知道換了宿舍的好處？可能導員是個 過來人 認為換宿舍利大於弊？然而這不是重點。這個...