1樓：哆啦X夢
賣一下自己的方法，簡單好用，對oversmoothing很有效。並對oversmoothing以及DropEdge起效果的原因進行了理論分析。
DropEdge: Towards Deep Graph Convolutional Networks on Node Classification
還有GitHub：
2樓：黃濤
鄙人以前採用的方法就是模仿dense net，給每個層輸入前面所有層輸出的特徵，乾到了32層，效果很好。
但是訓練挺慢的，別學我。
3樓：
GNN，或者更specific地說，GCN吧...最本質上是Laplacian Matrix特徵向量線性基變換後的濾波。
修正後...
Laplacian operator其本身相當於是乙個高通濾波器，再加上GCN原本的假設是多項式濾波/Chebyshev polynomial expansion，如果training出來的濾波係數是正，那麼效果主要是平滑的...如果係數是負，那應該會讓訊號更加的bumpy...
（anyway...坐等更好的分析）
4樓：蘿蔔
我看到有一些文章裡用了門控機制來解決這個問題，比如這篇《Multi-hop Reading Comprehension across Multiple Documents by Reasoning over Heterogeneous Graphs》，可以參考
蘿蔔：《基於異構圖推理的多文件多跳閱讀理解》閱讀筆記），還有《BAG: Bi-directional Attention Entity Graph Convolutional Network for Multi-hop Reasoning Question Answering》，參考
蘿蔔：BAG：面向多跳推理QA的雙向注意力實體GCN網路
5樓：[已重置]
都說GNN實際是個熱傳導，所以如果導熱率太高，時間太長，最終就是溫度達到單一溫度。所以要降低導熱率，或者縮短傳導時間，才能形成有區域性特徵的分布模式。從訊息傳遞的角度，就是要增加勢能函式的差異性，或者說是降低系統溫度，以及減少訊息傳遞的迴圈次數。
6樓：Hover
對圖網路只是略微了解強答一下
圖網路實際上做特徵（結構）提取，對於圖網路的結構進行表徵，當網路層數過多的時候，類似於CNN中用兩個 3*3 的卷積核可以獲得 5*5 的感受野，當網路層數過多的時候，此時的表徵實際上應該收斂到圖的表示，也就是整個圖全域性的資訊完全同步到每乙個節點，而不是我們期待的結構資訊（區域性結構特徵）。感覺最後的結果類似於Graph-Kernel出來的結果，將圖embedding了而不是node-embedding。
如何解決？限制層數，能夠表達一定程度的區域性特徵（結構）和全域性特徵（全域性圖資訊）就好
圖神經網路如何在自然語言處理中應用？
233 按我的理解 自然語言中現在最熱的Transformer，就可以當作是一種圖神經網路 Transformer tutorial Cheng Li 其實很關注這個問題。雖然自己不是做NLP的但是最近正好在看cs224思考GCN和NLP的關係CNN只能處理結構化塊狀資料的輸入和輸出 LSTM的優點...
RNN神經網路訓練過程中weight幾乎不更新，只有bias更新？
大多萌萌噠 把梯度截斷的c的值增大吧，或者修改啟用函式。一般用ReLU函式的話不會出現這個問題啊。而且你權重初始化是怎麼初始化的？單位矩陣還是隨機值？ 其實不太懂RNN，路過問一下 啟用函式用的是啥，relu？這個網路用來做什麼的，輸入輸出是什麼樣子的，數值範圍？感覺像是normalization或...
深度學習，神經網路中，如何調節weight（以及其原理）？
陳瀚可 半年後的我終於有能力回答我自己沒水準的問題 由於資料集非常大的緣故,在 batch size 比較大的情況下梯度較於平緩.local minimum 實際上已經是乙個很不錯的 solution 了.如果要跳出 local minimum,可以使用 sin 形狀的 learning rate ...