1樓：哈啾路亞
attention本質還是選擇附近時序序列的資訊，window attention就是非常好的例子。
長距離下attention也會失效，這個是由softmax函式的特性決定的。畢竟當需要「注意」的面積太廣的時候，也就沒有「注意」的必要了。
memory，主要指外部記憶，一旦被controller寫入資訊，無論多少個step後只要不更新都不會丟失。讀取時也不需要與其他step的結果進行歸一化，所以可以精確指向上次更新時寫入的資訊。
attention實際上相當於乙個memory大小隨著step推進逐漸增大，且controller讀寫頭的數量等於step數也在逐漸增大的memory。如果真設計乙個這樣的多頭memory，它碰到的問題就會和attention一樣了。即「一次讀取的資訊太多，以至於softmax判定哪一條是比較重要的時候，概率都會被分散」。
就NTM的實驗來看，多頭controller是比單頭好一些，但也不是越多越好。
2樓：
attention是對content向量query-wise加權，如果你各種向量都attend一番那麼就類似於對於原始content特徵進行booting學習
memory是狀態轉移，如果你熟悉bidaf的話其本質是多維度content的attention權重儲存而成的多維陣列，其實並沒有本質區別
要說本質的話都是權重，都是乙個相關係數
如何向文科同學科普自然語言處理（NLP）？
我就是文科生，以前學古代漢語，曾對計算語言學非常嚮往。自己借書來看。很傷心看不懂。因為計算語言學好多都是講程式設計，我是這麼理解。感覺和自己學習的知識搭邊很少。建議能從漢語語言學知識和計算語言學共同交叉的地方講起。多說說漢語語言學能為計算語言學做什麼，這樣一步步說比較好。否則上來就說什麼統計，分詞，...
自然語言處理（NLP）和計算語言學之間的區別和聯絡是什麼？
RUBY 一方面，從學科劃分而言，計算機語言學是在語言學領域，一般國內的院校都劃入了人文學院中文系下面，而自然語言處理多在計算機學院 另一方面，兩門學科的應用場景是不一樣的，計算語言學，追求的是乙個統一的模型，能夠解釋語言的生成，探求人腦對語言理解的過程 自然語言處理其根本出發點是為了讓機器能夠理解...
nlp 自然語言處理 真的有意義嗎？如果有意義，那麼它到底能帶來什麼？
冷位元er 懸鈴 所有模型都是錯誤的，但有些是有用的。這句話同樣能用在這裡。很大概率上目前的nlp技術不會是真正AI的解決方案，但它們確實有用，確實在各種應用場景下提公升了使用者體驗，縮短了資訊路徑，這就是意義吧。 Jane 有啊，當然有，可以運用在計算機和語言交叉的方方面面。我覺得的這個問題的重點...