圖神經網路如何在自然語言處理中應用?

時間 2021-05-06 23:11:04

1樓:233

按我的理解

自然語言中現在最熱的Transformer,就可以當作是一種圖神經網路

Transformer tutorial

2樓:Cheng Li

其實很關注這個問題。雖然自己不是做NLP的但是最近正好在看cs224思考GCN和NLP的關係CNN只能處理結構化塊狀資料的輸入和輸出

LSTM的優點是能夠接受任意長度序列的輸入並且研究者們也設計了序列輸出的方法

GCN現在能夠接受任意集合,以及定義在集合上的乙個圖的輸入由於LSTM的方便,很多人可能覺得句子是乙個序列實際上自然語言更接近一種樹狀圖的格式

這使得GCN在處理句子的時候,應該有天然的優勢另一方面,NLP背後的系統額外知識,以及詞的embedding某種意義上

都可以由圖來定義。這使得GCN有很多結合點不過GCN現在還沒有很天然的工具處理圖的輸出也就是說沒有乙個很天然的GCN autoencoder,如果有的話感覺會很好用

現在CV出現的image caption和GCN結合的,也基本僅限於將影象中的物體構造乙個圖輸入給LSTM。

(有沒有大佬帶我做NLP啊。。。)

3樓:atom Native

不是做這個的,不過一般而言,用到representation的地方其實都有機會用到圖(樹就是圖的一種特殊情況,不僅NLP裡有語法樹,依存樹,語義表示還有更多的樹結構)。

S的Jure Leskovec做了很多圖的表示的工作,以及一些在NLP上的應用。他最近一篇ICLR的文章可以看一下 HOW POWERFUL ARE GRAPH NEURAL NETWORKS?

4樓:趙英俊

圖神經網路可以簡單的理解為深度神經網路和知識圖譜的有機結合,所以在NLP領域也是其重要的應用領域,比如知識推理、知識問答等

目前的自然語言處理的研究中,神經網路可以理解「陰陽怪氣」的語句嗎?

機智的叉燒 第乙個難點在於,很難評估目標和效果,人的理解是不一樣的。語言,尤其是中文,博大精深,而語言的理解又與每個人的閱歷,知識情況有關,於是陰陽怪氣的句子不見得人人理解都一樣,話中有話的句子也不是每個人都能心神領會,作為上一輩精英的父母們也不能全都理解 耗子尾汁 再說了,當女朋友說 我沒生氣 的...

如何在自然語言處理方向學習?

陳氏探索者 自然語言處理綜論電子書 自然語言處理綜論.zip 藍奏雲 專家系統原理與程式設計電子書 專家系統原理與程式設計.zip 藍奏雲 語義網基礎教程資料電子書 語義網基礎教程資料.zip 藍奏雲 微積分的歷程 從牛頓到勒貝格 托馬斯微積分.zip微積分的歷程 從牛頓到勒貝格 托馬斯微積分.zi...

自然語言處理NLP中,Attention機制和Memory機制的優缺點各是什麼?

哈啾路亞 attention本質還是選擇附近時序序列的資訊,window attention就是非常好的例子。長距離下attention也會失效,這個是由softmax函式的特性決定的。畢竟當需要 注意 的面積太廣的時候,也就沒有 注意 的必要了。memory,主要指外部記憶,一旦被controll...