Attention用於NLP的一些小結

時間 2021-05-09 17:55:25

1樓:達文西

岳不群,號稱君子劍,到最後變成了偽君子

慕容復,號稱南慕容,最後變成了抑鬱症患者

公孫止,看似翩翩君子,實則卑鄙小人(同鄭克爽)

2樓:

連城訣,落花流水。出場派頭十足,連個丫頭都救不下來,被血刀老祖虐得欲仙欲死,徹底成為「落花流水」。

天龍八部,慕容復。凡是被他瞧不上的最後輪著吊打他,被段譽在武功人品戀愛事業上完爆,抱著丁老怪莊聚賢的大腿才敢對戰喬幫主卻被怒罵瞬秒,被掃地僧無視武功,被鳩摩智速敗,想當西夏駙馬被虛竹KO,帶著一堆家臣拿不下段延慶最後管人家叫爹。。。人間極品。

射鵰神鵰,全真七子。剛出場時候看著很NB,後來發現實戰幾乎沒有勝績,空有個正宗的虛帽子,用黃蓉的話來說就是「年紀都活到狗身上去了」。

笑傲江湖,余滄海。剛出場時凶神惡煞殺人如麻,後來被正邪兩派同時鄙視,林平之復仇時嚇得精神崩潰。

書劍恩仇錄,陳家洛。毫無才能,思維停滯,都說張無忌政治矮子,陳家洛就是吊絲版張無忌。

神鵰,金輪法王。第一次出場B格滿天,絕對優勢拿不下實戰經驗嚴重不足的小龍女,襄陽城暗箭偷襲郭大俠被郭大俠三箭虐到生活不能自理,帶著瀟湘子一群人圍毆郭大俠靠楊過臥底僥倖取勝,面對同級別高手除了打傷裘千仞(還留了一口氣跑掉了)不勝,N次被楊過完虐直到死。

倚天屠龍記,六大派的峨眉崆峒華山崑崙加上丐幫,除了周芷若滅絕老尼幾乎實戰不勝。兩人實際都是依靠核武級別的倚天劍僥倖支撐。

自然語言處理NLP中,Attention機制和Memory機制的優缺點各是什麼?

哈啾路亞 attention本質還是選擇附近時序序列的資訊,window attention就是非常好的例子。長距離下attention也會失效,這個是由softmax函式的特性決定的。畢竟當需要 注意 的面積太廣的時候,也就沒有 注意 的必要了。memory,主要指外部記憶,一旦被controll...

你是怎麼學習nlp的?

反覆看了這個問題及描述和下面的回答,發現了乙個嚴重的問題 題主問的NLP是神經語言程式學 Neuro Linguistic Programming 的英文縮寫。而部分回答的NLP是自然語言處理 Natural Language Processing 的英文縮寫。雖然縮寫都是一樣的,但這是兩個完全不同...

如何評價NLP演算法ELECTRA的表現?

Solaris 提幾個insight上的疑問吧。1 訓練難度增加了,生成器把簡單的mask給生成好了,只留下複雜的mask。但問題是,語言建模這個任務難道不是比二分類更難嗎?如果用lm作為判別器的loss,會怎樣呢?2 所有的位置都能參與到loss中,而mlm只有15 的位置參與。作者文中的實驗也表...