1樓：ZYK
我覺得應該這麼講：
GCN中，一次卷積對應一次鄰域資訊，而卷積的堆疊則可以近似的描述高次鄰域資訊。
我們知道，在數學分析中，拉普拉斯運算元實際上是散度，它可以描述資訊的傳遞。GCN正式希望利用這個概念，結合圖的結構，讓資訊在圖上流轉起來，產出對下游任務有價值的資訊。
接下來，需要用離散的形式來描述散度在圖上的作用機理。大致類似於二階差分的概念。經過這一步後，我們發現，可以用乙個簡單的形式L*f來描述這種基於散度的資訊流轉。
此時，每一次卷積時，就乙個具體的node來說，它之和與它緊鄰的點的資訊產生互動，所以我們說GCN的一次卷積對應一階鄰域資訊。
而GCN每次卷積後，圖的結構自然不會改變，因此很方便的進行堆疊，那麼自然的，某個點在兩次卷積後，就有它緊鄰的緊鄰之資訊，三次則有緊鄰之緊鄰之緊鄰的資訊。。。。
如此就可以實現高階鄰域的資訊傳遞。
2樓：
GCN考慮的是一階領域資訊。
GCN網路中圖訊號的傳遞方式，即節點與社群之間進行資訊傳遞的方式，決定了GCN是使用一階領域還是二階段或更高階段領域資訊。
以單個節點為例，GCN在不同層的資訊傳遞過程中，僅僅傳遞與該節點直接相連的節點的資訊，不直接相連的資訊是不予傳遞的。故，GCN是乙個低濾波器，即僅僅考慮一階資訊。（參考下圖）
如果納入二階、三階資訊勢必可以提公升模型的正確性。但是如何納入更加高階的資訊，還有待去探索。此外，納入二階資訊或更高階資訊很可能帶來計算過程複雜程度的提公升，進而降低模型的訓練效率。
如此是否值得，有待進一步考量。（可以模擬GPT-3對GPT-2公升級，超大規模的GPT-2與大規模的GPT-2帶來的訓練成本低的上公升）
3樓：喵喵喵
個人認為，目前來說GCN裡面考慮的還只是一階領域資訊。原因如下：GCN 中使用的鄰接矩陣只包含一階鄰域，每個節點的感受野都非常有限，只有達到足夠深度，網路層才能學習到遠端關節之間的語義資訊。
在GCN中，每個鄰接節點僅考慮與其相鄰的節點，而不考慮其他節點的情況，所以這是乙個多層的卷積神經網路，但乙個卷積層僅處理一階鄰域資訊，因此需要疊加若干個卷積層，才能使得其餘節點資訊也可以通過傳遞而得來。從公式上來說，GCN這一圖卷積網路使用的是鄰接矩陣與特徵矩陣相乘，從拉普拉斯矩陣我們可以知道 L=D-A，而A又是一階的鄰接矩陣，因此能夠看出GCN裡面僅僅考慮了一階領域資訊。在這種情況下，GCN的計算效率其實是比較高的，若使用更高階領域資訊，未必能得到更好的效果。
4樓：Deplorable Eric
一階鄰域。
Spectral GCN 背後的最初想法受到訊號/波傳播的啟發。我們可以將 Spectral GCN 中的資訊傳播視為沿節點的訊號傳播。頻譜 GCN 利用圖拉普拉斯矩陣的特徵分解來實現這種資訊傳播方法。
簡單來說，特徵分解有助於我們理解圖結構，從而對圖的節點進行分類。這有點類似於主成分分析 (PCA) 和線性判別分析 (LDA) 的基本概念，其中我們使用特徵分解來降低維度並執行聚類。
在這種方法中，除了節點特徵（或所謂的輸入特徵）之外，我們還將考慮前向傳播方程中的鄰接矩陣（A）。 A是表示前向傳播方程中節點之間的邊或連線的矩陣。在前向傳遞方程中插入 A 使模型能夠基於節點連線學習特徵表示。
為簡單起見，省略了偏置 b。由此產生的 GCN 可以被看作是訊息傳遞網路形式的頻譜圖卷積的一階近似，其中資訊沿著圖中的相鄰節點傳播。
5樓：東四百
從本質上說，GCN是譜圖卷積的一階區域性近似。那麼，什麼是譜圖卷積呢？
首先來看圖上的譜卷積。圖上的譜卷積可以定義為訊號 與濾波器 （ ）在傅利葉域的乘積：
其中，為歸一化拉普拉斯的特徵向量矩陣（即譜矩陣），對L進行特徵分解就可以得到U，其中，為相應的特徵值矩陣（對角矩陣），為的圖傅氏變換(即離散傅利葉變換)。在這裡，可以將看作是特徵向量的函式，也就是。
就跟三層神經網路中的weight一樣是任意的引數
對於圖譜卷積來說，其計算代價無疑是很大的：（1） 使用 進行矩陣乘法運算的計算複雜度為 ;（2）計算大圖的拉普拉斯矩陣 的特徵分解需要很大的計算量。針對這一問題，本文採用了[2]中的方法來近似 。
該方法使用切比雪夫多項式（Chebyshev polynomial） 的 階截斷來獲得對 的近似：
其中，為經的最大特徵值（即譜半徑）縮放後的特徵向量矩陣。表示乙個切比雪夫向量。切比雪夫多項式使用遞迴的方式進行定義：，其中，且。
此時，可以使用近似的替代原來的，此時，可以得到：
而是的階多項式，且有，其中，。這樣，我們就得到了文中的公式：
通過這一近似，可以發現，譜圖卷積不再依賴於整個圖，而只是依賴於距離中心節點步之內的節點（即階鄰居）。在[3]中，Defferrard et al. 使用了這一概念定義了圖上的卷積神經網路
reference：
劉浪：圖卷積神經網路(GCN)詳解:包括了數學基礎(傅利葉，拉普拉斯)
6樓：卡瑪花生公尺
GCN裡面考慮的是一階領域資訊，它借助譜圖理論（Spectral Graph Theory），將空域中的拓撲圖結構通過傅利葉變換對映到頻域中並進行卷積，然後利用逆變換返回空域，從而完成了圖卷積操作
圖卷積每個節點資訊更新只考慮到相鄰節點的資訊，而不考慮其餘節點，其餘節點的資訊可以通過相鄰節點進行傳遞，GCN是譜圖卷積的一階區域性近似，是乙個多層的圖卷積神經網路，每乙個卷積層僅處理一階鄰域資訊，通過疊加若干卷積層可以實現多階鄰域的資訊傳遞
GCN也可以視為對ChebNet的簡化版本，GCN 的卷積核就是對 ChebyNet 的一階近似，只保留零階一階分量。
7樓：衝鴨
GCN圖卷積計算裡面考慮的是一階鄰域資訊，在推導計算公式中主要涉及了兩個跟鄰域有關的矩陣，乙個是D-度矩陣，考慮當前節點的一階鄰域個數；另乙個是A-鄰接矩陣，考慮的是當前節點的一階鄰域結構資訊。因此，GCN在計算假設的前提是近似考慮了一階鄰域資訊。
但是，GCN在卷積計算時提出了節點特徵訊息傳播的概念，即雖然一次迭代可以考慮一階鄰域資訊，但通過訊息傳播可以進行多次迭代，這樣節點就可以融合距離更遠的多階節點的資訊，實現更大的視野域，有點類似於傳統CNN卷積中卷積核kernel尺寸增大的效果。
8樓：閘蟹
GCN是譜圖卷積的一階區域性近似，是乙個多層的圖卷積神經網路，每乙個卷積層僅處理一階鄰域資訊，通過疊加若干卷積層可以實現多階鄰域的資訊傳遞。
每乙個卷積層的傳播規則如下：
其中 是無向圖G的鄰接矩陣加上自連線(就是每個頂點和自身加一條邊)， 是單位矩陣。
是 的度矩陣，即 。
是第 層的啟用單元矩陣， 。
是每一層的引數矩陣。
GCN的每一層通過鄰接矩陣 和特徵矩陣 相乘得到每個頂點鄰居特徵的彙總，再乘上乙個引數矩陣 加上啟用函式 做一次非線性變換得到聚合鄰接頂點特徵的矩陣 。
之所以鄰接矩陣 要加上乙個單位矩陣，是因為我們希望在進行資訊傳播的時候頂點自身的特徵資訊也得到保留。
而對鄰居矩 進行歸一化操作 是為了資訊傳遞的過程中保持特徵矩陣 的原有分布，防止一些度數高的頂點和度數低的頂點在特徵分布上產生較大的差異。
9樓：facilitator
答案：一階鄰域資訊
GCN考慮的是一階鄰域資訊，是譜圖卷積的一階區域性近似，是乙個多層的圖卷積神經網路，每乙個卷積層僅處理一階鄰域資訊，通過疊加若干卷積層可以實現多階鄰域的資訊傳遞。GCN能夠考慮二階或三階鄰域的資訊，目前還沒有人實現。而且這種方式也會導致網路的加大加深、引數增加，計算量增加和數學推導上的等等問題。
普通圖神經網路公式為 ,其中A是圖的鄰接矩陣。
GCN中的改進：
1.計算時忽略了i節點本身的資訊，這時就需要加上對角矩陣I
2.如果i的某個鄰居j本身有很多鄰居，那j對i的貢獻就沒那麼重要，需要減小權重，但之前已經除以
自己本身的度進行歸一化了。
10樓：我很好奇
考慮的是一階鄰域資訊
GCN的每乙個卷積層僅處理一階鄰域資訊，通過疊加若干卷積層來實現多階鄰域的資訊傳遞。更新任何節點時，需要所有節點的資訊，在階數增大時，計算量呈指數增長，因此只需近似考慮一階鄰域資訊。再看拉普拉斯矩陣的計算方法，是用頂點的度矩陣D減去一階鄰接矩陣A，相當於只考慮了相鄰節點的資訊傳播和流動，也就是一階的鄰域資訊，是乙個低濾波器。
二代GCN支援了多階鄰域，幾階由K的大小來決定，K值越大，計算的複雜度也越大，當然就越能捕捉localization的特徵。這需要權衡計算量和精確度。
11樓：起床啦123
先給出答案，對於圖卷積神經網路來說，目前的實踐是只會考慮一階領域資訊，當然這是針對每乙個卷積層而言的。原因是什麼呢？這個回答的大佬們從很多角度解析，我就說下我的粗淺理解。
首先回顧CNN的卷積核，卷積核本身不大，通過不斷深入的層數，來進一步提取更深的特徵。可以想象，如果每個卷積核太大，反而容易過擬合，提公升計算量的同時使得模型泛化能力降低了。在圖神經網路中，提取二階資訊不僅僅使得計算量大大提公升，還會容易過擬合。
提取一階資訊，隨著層數的深入，也能夠達到提取二階鄰域的效果。
12樓：Rachel Yao
GCN裡面是考慮一階鄰域資訊，每個節點, 收集來自鄰居傳遞的資訊, 然後彙總後更新自己。
CNN無法處理非歐幾里得結構的資料, 因為傳統的卷積沒法處理節點關係多變的資訊。GCN則可以資料結構有效地提取特徵。廣義上來說, 任何資料在在賦範空間內都可以建立拓撲關聯。
二維影象也可以構成拓撲圖.。
圖資料的特點是:
1.節點特徵: 每個節點都具有自己的向量表示;
2.結構特徵: 節點與節點間具有一定的聯絡, 即攜帶資訊的邊。
GCN的目的就是用來提取拓撲圖的空間特徵。GCN 則可以通過平均法或加權平均發來收集鄰居的資訊。平均法, 物以類聚, 每個節點和它鄰居都是相似的, 那麼每個節點就等於鄰居節點的平均值。
當每個節點和鄰居的關係強度不同時, 考慮到邊的權重關係, 只需要將鄰接矩陣 A 變為有權圖, 即讓 [公式] 的取值不侷限於, 而是任何合適的權值。 (有些工作研究如何構建有權圖, 簡單的如利用高斯分布賦權值)。
貪心學院的NLP課程怎麼樣呢？
Ytfhj159 課程還是很好的，對比了幾家機構才選擇的貪心學院，也是看中了課程的口碑和貪心的品牌，課程內容和安排沒有什麼問題，有沒有對自己的狀況起到作用的話主要還是看自己的用心程度和對知識的接受程度吧。 Hippo 之前我也在網上學習過一些課程，但是整體的效果確實不太好，也很耽誤自己學習的時間，前...
貪心學院 關於模型過擬合現象，有哪些解決思路， 至少列出3項 （可以針對不同的模型來講述）？
Rock 假設這是一道面試題，而前面的同學答了很多，比自己知道的要多，那該如何回答？過擬合，如果從模型下手的確有很多辦法優化。但我個人的經驗 心裡是模型優化我不熟哦 讓我相信一點 資料質量對結果的貢獻率是80 那麼為什麼不把精力先放在資料上呢？然後調取吳恩達教程裡有關資料優化的辦法扔出去。這些做完後...
貪心學院 深度學習是很多模型的疊加，這種深度模型跟淺層模型相比有什麼優勢呢？
Hanamaki 有一種說法 在自然語言領域，淺層模型解析的是語法結構，深層模型解析的是語義結構，例如 我愛北京和北京愛我 從語法上來說兩個都是對的，都是主謂賓，但是從意義上來說，第二句不對因為北京是個地點無法有愛這種動作。語義建模 或語義語法 通常與語言建模 或語言語法 相比較，我們現在從二者的定...