1樓：SamHsiWu
含義：歧義與消歧是自然語言理解中最核心的問題（即字面內容完全一致但語義並不一致），在詞義、句義、篇章含義層次都會出現語言根據上下文語義不同的現象，消歧即指根據上下文確定物件語義的過程。詞義消歧即在詞語層次上的語義消歧。
例子：「今天去水果店買了一袋蘋果」和「今天去專賣店買了一台蘋果」中的蘋果
產生原因：語言的使用是不斷變化的，乙個詞在發展中有許多具體的意思，現在通用的還有一些意思。不同地區可能對乙個詞有不同的用法，不同的行業對乙個詞也會不同，甚至不同群體、不同個人、不同語氣都會有自己的特殊的解讀意思。
基於鏈結的實體消岐（實體鏈結）
做法：用cnn提取包含mention的整句話的特徵的話忽視某些相關模式（introduction中的例子），沒有利用好mention附近的詞，這些詞是mention意義的較強指示。作者將視窗大小為n（n=4）的單詞作為mention的上下文：
經過lstm後，利用tensor network來整合所有的特徵。
Neural Cross-Lingual Entity Linking
2樓：卡瑪花生公尺
實體消歧的本質是在於乙個詞很有可能有多個意思，也就是在不同的上下文中所表示的含義不太一樣，實體消歧需要根據上下文相關資訊進行歧義消解。
在未給定目標實體的情況下，對於給定待消歧的實體指稱集合，以聚類方式實現消歧的系統按以下步驟進行消歧，對每乙個實體指稱項，抽取其特徵，並將其表示成特徵向量，計算實體指稱項之間的相似度，然後採用某種聚類演算法對實體指稱項聚類，使得聚類結果中每乙個類別都對應於乙個目標實體上。
基於實體鏈結的實體消歧方法，將實體指稱項鍊接到知識庫中特定的實體，也稱實體鏈結，先根據規則或知識過濾大部分指稱項不可能指向的實體，僅僅保留少量鏈結實體候選。給定指稱項及其鏈結候選，確定該實體指稱項最終指向的目標實體。
3樓：閘蟹
實體消歧問題提出的原因在於一詞多義，在不同上下文語境中同乙個單詞所表達的含義可能不同。類似的，同一實體在文字中可能也會有不同的指稱。
實體消歧，定義為六元組。此處實體指的是命名實體。
M=N,E,D,O,K,δ
其中N表示待消歧的實體名集合，E表示待消歧實體名的目標實體列表，D示乙個包含待消歧實體名的文件集，O表示D中所有待消歧的實體指稱項集合，K表示命名實體消歧任務所使用的背景知識，最常用的是關於目標實體的文字描述，δ表示命名實體消歧函式，用於將待消歧的是實體指稱項對映到目標實體列表或按照其指向的目標實體進行聚類。
按照目標實體列表是否給出，實體消歧系統可分為：
基於聚類的實體消歧系統：目標實體列表未給定，以聚類方式對實體指稱項進行消歧。所有指向同乙個目標實體的指稱項被消歧系統聚類到同一類別下，聚類的結果中每乙個類別對應乙個目標實體。
按照實體消歧任務領域不同，實體消歧系統可分為：
結構化文字實體消歧系統：實體指稱項被表示為乙個結構化的文字記錄，缺少上下文，主要依賴字串比較和實體關係資訊完成消歧；
非結構化文字實體消歧系統：實體指稱項被表示為一段非結構化文字；存在大量上下文，主要利用指稱項上下文和背景知識完成消歧；
簡單想到的方法是相似度計算的方式計算兩個實體之間的相似度，從而進行實體消歧工作。
作為改進的策略，可以考慮優化相似度計算的方案，例如利用動態詞向量的技術進行實體消歧。常用的模型包括 ELMo、Transformer 、 Bert 等，通過大量資料集預訓練好詞向量模型。實驗時，目標文字輸入模型，獲得文字中每個單詞（實體）的詞向量，根據詞向量的資訊，即可使用相似度計算方法統計需要消歧的實體之間的相似度，判斷這些實體是否屬於同乙個實體。
4樓：翻天的猴子
1、實體消歧
實體消歧的本質是在於乙個詞很有可能有多個意思，也就是在不同的上下文中所表示的含義不太一樣，那麼如何判定兩個概念是否指向同乙個實體呢？我們知道skipgram模型，乙個詞可以使用上下文環境的多個詞來表達其語義，那麼可以在基礎詞向量的基礎上，訓練出來動態詞向量，然後對動態詞向量進行cosin計算相似度。
2、動態詞向量的訓練
在Bert等基礎上，學習實體的動態詞向量，這些動態詞向量就可以計算相似度，例如：
」我喜歡吃小公尺「中的」小公尺「指一種食物
」小公尺手機挺好用「中的」小公尺「指手機品牌
給定上面兩個句子，在 Word2Vec 和 Glove 中去得到「小公尺「的詞向量都是一樣的，不能根據上下文給出更準確的詞向量。而ELMo是一種動態詞向量演算法，在大型的語料庫裡訓練乙個 biLSTM (雙向LSTM模型)。下游任務需要獲取單詞詞向量的時候，將整個句子輸入 biLSTM，利用 biLSTM 的輸出作為單詞的詞向量，包含了上下文資訊。
可以理解成，biLSTM 是乙個函式，函式的輸入是乙個句子，輸出是句子中單詞的詞向量。
5樓：seifer08ms
有可能設計出一種演算法來解決實體消歧的問題。
首先，Bert的文字特徵提取能力很強，可以利用Bert來實現文字的特徵提取，並實現對文字的相似度計算。利用Bert的文字相似度模型，計算兩個實體的相似度的大小。通過Bert計算得到每個候選詞的嵌入向量和知識庫中每個候選實體的嵌入向量，二者經過余弦相似度或點積距離的計算，取相似度最高的作為實體結果。
Bert作為可以考慮上下文語義不同的動態嵌入向量，對實體消歧任務是非常關鍵的。因為實體消歧很多情況都需要考慮上下文的差異，而不能簡簡單單只考慮單詞自身的特徵。在實際的研究中，可以考慮對候選實體進行一次排序，選擇排序 topN 的候選實體進行下一步的消歧，這樣分層消歧在候選實體過多的情況下不僅可以提高準確率，還能提高消歧效率。
6樓：我很好奇
命名實體的歧義指的是乙個實體指稱項可對應到多個真實世界實體，也即一詞多義的現象。命名實體消歧，就是確定命名實體指向的真實物件。經典的例子就是蘋果表示水果和品牌。
ELMO是常見的可以實現實體消歧的模型，使用Bert預訓練和精調，每個詞對映為乙個向量，但這個向量需要與上下文一起輸入模型，可以得到語境之下的動態詞向量，即根據上下文來調整單詞的詞向量，解決一詞多義的問題。
使用BERT/Transformer得到的詞語表徵也是與上下文相關的，不同含義的詞語得到的BERT embedding是不同的。
因此，在動態詞向量的基礎上，常見的方法就是計算相似度，對詞語的多個標準含義分別訓練embedding權重矩陣，同時將詞語在上下文的實際場景中訓練的embedding進行對比，可以使用余弦相似度的做法，選擇相似度最大的標準含義作為詞語的真實含義。
7樓：
實體詞識別應用中難免遇到同詞不同意的情形，（如蘋果可以指水果，也可以指蘋果公司），因此通過一些演算法來區分同詞不同意的顯得非常必要。
通常我們的做法是首先mask掉實體詞，再通過該實體詞的上下文來構造向量，最後在利用文字相似度的方式來來實現實體消歧。而在向量的構造環節，我們可以借鑑EMLo、Bert等深度學習模型。
BERT：BERT的本質脫胎於雙向的transformer模型。個人認為可以基於BERT模型輸出的詞向量來計算文字的相似度。其準確性相比基於獨熱編碼的表示準確性能有大幅提公升。
ELMo：該演算法的本質是深度的雙向LSTM模型，而LSTM又是語言模型。那麼是否可以將待處理文字中的實體詞被mask掉，而把被mask的詞所對應的向量插入其他語句中計算其概率。
如果概率接近，那麼兩句語句中被mask掉的詞是同一實體，反之則表示含義不同，該詞再不同語句中屬於不同實體。
8樓：小木木
實體消歧的本質在於乙個詞很有可能有多個意思，也就是在不同的上下文中所表達的含義不太一樣，在某些場景下需要找到某個詞究竟屬於哪個意思，例如蘋果有水果的蘋果，有蘋果公司的蘋果，現在一句話中出現了蘋果，我們需要判斷這個詞是指水果的蘋果還是蘋果公司。
elmo，Bert的預訓練+fine-tune可以根據上下文來調整單詞的詞向量，解決一詞多義的問題；和實體消歧本質上解決的問題是一致的。因此最簡單的想法利用bert的輸出來計算餘旋相似度，例如下圖中的3句話，分布輸入到bert預訓練模型進行微調，得到3句話中3個蘋果的詞向量表達，然後進行餘旋相似度計算，來判斷【今天蘋果發布了新的手機】和水果【蘋果】，公司【蘋果】哪個更相近，就判定為哪個類別。
餘旋相似度是最簡單直接的方式。除了餘旋相似度的方法還可以考慮作為分類任務來建模。 比如上圖中的任務有3個embedding， E(水果蘋果), E(蘋果公司)，E(要判斷的句子)， E(水果蘋果)和E(要判斷的句子)做點積，再通過softmax啟用，得到評分，這個分數越高表示兩者是同一實體的概率越高，損失函式使用交叉熵損失函式。
9樓：kk清源
實體消歧是 NLP 中一項重要的任務，主要是解決現實語言中一詞多義的問題。比如，「蘋果」一詞既表示一種水果，也能表示蘋果公司。如何進行實體消歧呢，一種是基於相似度的方法，比如要計算「蘋果今天發布了新的產品」，首先先計算句向量，然後分別計算「蘋果，水果中的一種...
」和「蘋果，美國一家高科技公司」的句向量，然後做相似度計算，就可以得到「蘋果」的意思。
此外，可以利用動態詞向量的技術進行實體消歧，比如 ELMo、Transformer 和 Bert 等，以 Bert 為例，對大量中文語料進行預訓練任務，將需要消歧的語句輸入模型，得到詞向量，然後進行向量相似度計算。
10樓：facilitator
實體消歧的本質在於乙個詞有很多可能的意思，也就是在不同的上下文中所表達的含義不太一樣。實體消歧廣泛應用於知識圖譜領域。
其實BERT自身的採用的[MASK]預訓練，可以結合上下文進行訓練，在一定程度上可以解決實體消歧的問題。
基於實體鏈結的實體消歧方法目標實體知識庫：最常用Wikipedia，或特定領域知識庫。知識庫通常包括：
實體表、實體的文字描述、實體的結構化資訊、實體的輔助性資訊；也經常提供額外的結構化語義資訊。
待消歧實體指稱項及其上下文資訊步驟：
貪心學院AI學習挑戰賽（獎學金活動）第11週第1個問題，問題在描述裡，你的答案是什麼呢？
卡瑪花生公尺 1.暴露偏差，訓練時最小化的是交叉熵損失，而測試時用的是離散度量，並且在訓練時使用teach forcing的方式，decoder的訓練依賴於真實值，而在測試階段，真實值是沒有的，將模型的輸出近似等於正確的輸出反饋給模型。通過使用計畫抽樣法來解決這個問題，我們先使用交叉熵預訓練模型，然...
貪心學院AI學習挑戰賽（獎學金活動）第7週第2個問題，開放式話題，關於描述裡的問題，你的答案是什麼？
Qien ZHANG 由於反向傳播複雜性，稍微一點失誤就會導致整個訓練面臨失敗。要真正完全正確實現乙個反向傳播演算法是非常難的，因為要準確計算出幾十層甚至幾百層的引數梯度。在神經網路學習演算法中，整個演算法由資訊的正向傳遞和誤差的反向傳播這兩部分組成的，但是，也會存在著一些問題。例如，存在區域性最優...
貪心學院 深度學習是很多模型的疊加，這種深度模型跟淺層模型相比有什麼優勢呢？
Hanamaki 有一種說法 在自然語言領域，淺層模型解析的是語法結構，深層模型解析的是語義結構，例如 我愛北京和北京愛我 從語法上來說兩個都是對的，都是主謂賓，但是從意義上來說，第二句不對因為北京是個地點無法有愛這種動作。語義建模 或語義語法 通常與語言建模 或語言語法 相比較，我們現在從二者的定...