傅利葉變換具有卷積定理,和傅利葉基函式是拉普拉斯運算元的特徵函式,之間有什麼關係?

時間 2021-06-01 19:17:58

1樓:

最近正好也在想這個問題,在GCN中,總感覺用鄰接矩陣A的正交基也是可以做變換的,因為A也是實對稱矩陣,也有一組正交基可以用於變換。

但是仔細研究了一下後,發現在證明原始傅利葉變換的卷積定理的時候,用到了 這一等式,也就是說特徵函式是需要滿足f(a)*f(b)=f(a+b)條件的,這一條件對於傅利葉基 是滿足的,而其他基可能就不一定了。所以如果想使用卷積定理,最好使用拉普拉斯運算元(拉普拉斯矩陣)的特徵函式,其他矩陣要用除非也能滿足上面的條件。

2樓:方軒固

謝 @何奕霖 邀。其實對GCN並不十分了解,對圖論更是外行,只能簡單地說下自己的理解。

從基函式(數學一點)的角度,時頻傅利葉的基 , 其實是從解拉普拉斯運算元的特徵方程得來的。廣義特徵方程是: 。

把這裡變換 換成拉普拉斯運算元 (實際上就是個二階微分)了,解這個二階pde, 得到的結果就是 。他代表著對在一般連續函式空間裡的「二階微分對映」,在一組特定的正交基上(傅利葉基)等價於乙個伸縮變換。所以,我們可以直接把函式變換到那組基對應的新空間裡——就是傅利葉變換,方便地進行二階微分運算,最後再轉換回來就是了。

對於一般的函式 , ,或者說二階微分,直觀就是「隨時間 變換, 函式值變化率的變化率」。而對於乙個圖,當我們也想定義他的「傅利葉變換」,首先就要定義圖上的「二階微分(拉普拉斯運算元)」是個什麼東西。 乙個比較偏物理的解釋就是「Diffusion process of signal on a graph」:

給圖中的某個點加熱,熱量會沿著邊傳播到其他的點。這個傳播過程中,熱量變化的「平緩程度(smooth)」,就是圖的二階微分。而乙個圖的拉普拉斯矩陣,恰好就對應了「Diffusion process of signal on a graph」。

(這種對應具體的推導我真不知道,望有大神指教)。換言之,乙個圖的拉普拉斯矩陣,就等價於定義在這個圖上的拉普拉斯運算元(二階微分)。再回到廣義特徵方程:

,把變換A換成拉普拉斯矩陣 (即圖上的二階微分運算), 得到。模擬時頻傅利葉的推導,這其實就告訴我們,圖上傅利葉的基,就是L的特徵向量了。

注意,以上沒有涉及到圖上的卷積啥的,純粹是基於「乙個圖的拉普拉斯矩陣,就等價於定義在這個圖上的拉普拉斯運算元」這個早已是Spectral Graph Theory的基石的知識。

從卷積(應用一點)的角度來說,無論是學各種變換時遇到的、正兒八經的卷積,還是CNN煉丹時的卷積核,本質上都就四個字「加權求和」。

時頻傅利葉變化對於卷積運算有乙個性質,是 ,實際上就是把原函式 和加權函式 都丟到傅利葉空間,分解成傅利葉基加和的形式,然後基於正交基性質,原本「加權求和」過程,就變成簡單的「element-wise product」了。

對於image data, 反正grid 四四方方的,就不用搞變換那一套,乙個個 filter-windows 滾過去就完成加權求和(卷積)了,不同的「權重「就對應提取到的不同特徵。而對於圖,每個節點degree不同,沒法直接」滾「; 而且考慮到某些類似於pooling 這些操作是要求」permutation-invariant「的,直接遷移到圖上來的話,每個節點的編號順序也會影響。所以就要想辦法,把某個節點的特徵從 vertex domain 變換到 spectral domain (模擬於函式的傅利葉空間)。

這個變換也應該像時頻傅利葉變換一樣,變換過去之後,新空間的基是正交的,且是維度是一致的,於原節點的degree無關——這樣才方便設計fix-sized 的卷積核,通過「element-wise product」來進行」加權求和「,提取特徵。而拉普拉斯矩陣的對稱,psd, 實特徵根,以及

的性質,剛好滿足我們的需求,所以我們就開開心心地用他的特徵向量陣 ,把特徵從vertex domain對映到spectral domain ,然後方便地作卷積(」加權求和「)了。

以上只是最基本的ituition, 近幾年新的工作層出不窮, 還望真大佬多指教交流。

如何理解 Graph Convolutional Network(GCN)?

譜聚類(spectral clustering)原理總結

對Spectral Graph Theory,強烈安利耶魯的這門課:

Spectral Graph Theory - Fall 2015

如何理解卷積與傅利葉變換的關係?

閔希豪森男爵 額,回覆一下樓上的roger,CNN中卷積層拿輸入和卷積核做卷積和計算其實就是二維離散卷積的分段卷積和計算法。之所以採用這種演算法是因為把輸入看多f n 卷積核看作g m m 另外本題中有一位選手推薦讀 訊號與系統 是個好建議,其實你看完這個書,拿奧本海默的訊號與系統第二版這本書的目錄...

為什麼傅利葉變換具有對稱性?

張策 數學上也並不是巧合。首先明確一點,對於實值訊號和有對稱性的純虛復訊號來說,其傅利葉變換是存在對稱性的,沒有對稱性的純虛訊號或非純虛復訊號來說不存在對稱性。這個對稱性其實就是實值訊號傅利葉變換的乙個重要性質 共軛對稱。推導的話大致如下 因為任意乙個函式都可以表示成乙個奇函式和乙個偶函式的和。而很...

如何理解「函式卷積的傅利葉變換等於傅利葉變換的乘積」所代表的實際意義?

青柳立夏 搬運我在另乙個問題下的回答 Richard Yan 時域的卷積傅利葉變化後變為相乘應該怎樣理解?起初,我們有度量兩個訊號相似程度的相關運算 首先相關運算不是交換的,i.e.與 的相似程度一般來說不等於 與 的相似程度 類似的,相關運算也不結合 因此,用相關運算作為 相似性 的度量顯然是不夠...