1樓：東臨碣石
軟閾值化是訊號降噪演算法的常用步驟，可能會是乙個有潛力的運算元。
式中的τ表示閾值，是乙個需要提前設定的正數。
與ReLU啟用函式相似，它的梯度要麼是1，要麼是0，也有利於避免梯度消失問題。
如果用圖形化的形式表示，就是：
軟閾值化能夠用於降噪的前提是，幅值小於閾值的訊號是雜訊，幅值大於閾值的訊號是有用資訊。
很明顯，軟閾值化的問題在於，有時候幅值小的訊號是有用的，而幅值大的訊號是雜訊。
如果跟深度學習結合起來，軟閾值化前面的卷積層，在經歷端對端的訓練之後，有可能將有用訊號的幅值變大，將雜訊訊號的幅值變小，從而解決這一問題。
另乙個問題是，閾值τ怎麼設定呢？
在訊號處理演算法中，閾值τ的設定需要大量的人工經驗。
針對這個問題，殘差收縮網路
[1][2]借助注意力機制提供了乙個解決方案，就是設計乙個小型子網路，根據每個樣本的情況，自動地設定閾值τ。
（面向強噪、高冗餘資料的）殘差收縮網路
2樓：Eliot Alexander
瀉藥，深度學習都下坡路了。新運算元顯然少了很多。
Hinton的glom看下。
還有偏微分方程找神經網路結構。
雖然這些都不是運算元啊。
深度學習領域有哪些瓶頸？
knnay 很多資料集中大部分都是冗餘資訊。有用資訊只佔整個資料集的很小一部分。如果能夠在深度學習進行特徵學習的過程中，把冗餘資訊自動地剔除掉，就有可能提高深度學習的效果。面向強噪 高冗餘資料的 深度殘差收縮網路 小文 這個問題下的高質量回答已經很多了，我從工程師的角度談一談深度學習應用的瓶頸。尤其...
2021 年，有哪些親測好用的固態硬碟？
回形針 既然你也沒啥要求。那。三星的 970 evo plus 一定要512g以上的容量 親測 因為就裝在我電腦上 好用 因為我確實很滿意它的體驗 耍太極的魚 不知道移動固態硬碟是不是可以來強答一波。2021年用過最好用的硬碟要算LACIE的Rugged BOSS SSD 萊斯硬碟的品質本來就不錯了...
2023年了，深度學習在Windows和Linux上的配置和使用差別還大嗎？
Valar Morghulis 看用途嘍。我主要是用深度學習進行科研，而不是長時間在機子上去訓練，所以對我而言差別不大 或者近乎沒有差別 有乙個非常有意思的問題 最新版tensorflow 2.4.1 是支援CUDA 11.0的，然而在Linux的一眾發行版中，使用Keras的CNN MNIST模型...