貪心學院 依存文法分析技術適合什麼樣的場景(舉3個以上你覺得能夠使用依存文法分析的場景的例子)?

時間 2021-09-10 00:01:34

1樓:SamHsiWu

依存文法分析(dependency parsing, DEP in HanLP)已經被各位大佬聊的乾乾淨淨了,本人嘗試從提取特徵角度闡述

依存句法樹,把乙個句子,變成乙個有向圖。圖中每乙個節點是乙個詞彙,每一條邊,是一種關係。除了根節點,每乙個節點詞彙都只有乙個入度的邊。

但每個詞彙都可以指向多個其它詞彙。它是乙個樹狀的結構。每乙個詞彙都有唯一的一條路徑回溯到根節點

即不關心兩個詞彙是否一定要相鄰,而關心關係這一屬性。當單詞對作為無監督「訓練資料」時,關係被壓縮為多分類的表達似度(概率)的向量,從而就被作為特徵抽取出來了;同時,合法的依存句法樹不存在入度為2的節點(體現為獨熱向量)。

如果將任意的兩個單詞(忽略詞性)視為兩個實體,句法樹中連線兩個「實體」的邊就是實體間關係屬性,我們就可以得到無監督的關係抽取任務了——即提取了句法關係,作為實體間關係的部分特徵

非常符合邏輯,當兩個實體(真正的實體哦)在句法關係上距離較遠或者中間節點的單詞語義表否定,這兩個實體的關係可以忽略,大大提高了關係抽取任務的速度。

當關係屬性被拓展為任意屬性時,句法關係與該屬性的對映本身就可以作為特徵被抽取(如實體間距離越近則關係越緊密的關係抽取任務、實體間中間節點的屬性直接作為事件抽取任務等等)

毫無疑問,這些對映的特徵需要自行判斷,但句法或許是抽取型別任務的底層邏輯

2樓:卡瑪花生公尺

依存文法分析指將句子分析成一顆依存句法樹,描述出各個詞語之間的依存關係,即指出了詞語之間在句法上的搭配關係。可以使用依存文法分析技術的場景如下:

場景1,機器翻譯系統可以利用依存文法分析的結果進行預調序,對於基於統計的機器翻譯系統,本身生成的翻譯句子是沒有考慮詞語之間的依存關係

場景2,資訊抽取系統根據依存文法結構定義實體抽取模板,通過構建依存文法樹,能夠很方便地獲取到文字中的目標實體資訊

場景3,智慧型問答系統可以根據依存文法分析結果來調整生成的句子的結構

3樓:2fight41love

文法分析事實上是乙個命名實體識別+關係抽取的任務,通常可以用來給其它的下游任務提供更多的資訊。

1.機械人中的意圖識別:為了能更快的識別出使用者意圖,可以使用文法分析的模型來快速理解使用者陳述內容的意圖。

2.文字匹配:文法分析提取到的句子結構資訊可以被用來計算兩個文字之間的相似度,為文字匹配提供更精確的資訊。

3.機器翻譯:不同的語言常用的文法也不相同,這就需要用到文法分析來挖掘出需要被翻譯的文字隱藏的文法資訊,再通過這個資訊來快速翻譯到另一種語言的文法。

4.文件解析:對各種上傳的文件(合同,簡歷等)進行快速的分析並抽取相應的內容到各個模組,實現更快更準確的資訊錄入。

4樓:起床啦123

回答這個問題之前首先要回答什麼是依存文法分析。

依存文法分析是抓住句子各個語言單位之間的語義關聯,使用依存文法刻畫句子語義。這樣的話,打破句子表層句法結構的限制,直接獲取深層的語義資訊。

所以說,依存文法分析實在有句子的情況下把句子的結構梳理清楚的。那麼它的應用場景實際上有很多,這裡簡單舉例。

比如說文字分類,具體來說是新聞標題分類。那麼我們常識知道,標題的主語在分類中的作用很大。這時候依存文法分析就有作用了。

又比如說情感分析,形容詞和動詞,謂語的作用會更大,此時要借助依存文法分析。

類似的例子比如說識別兩個句子的相似程度;比如說做句子翻譯的時候,中英文成分順序不同,需要提前知道被翻譯的句子的句法。

5樓:

語音轉文字:在語音轉文字/文字(ASR→TTS)的過程中,會出現不少的上下文錯位和措辭上的文字錯誤。面對這些錯誤,如果單純使用人工來進行處理,會消耗大量的人力成本。

這時,可以使用句法依存分析和文字糾錯,對文字中各個語言單位之間的語義關聯進行分析,同時實現對文字的自動糾錯。該功能通過對文字的智慧型化糾錯,可以高效輔助人工,有效提公升語音轉文字的文字質量。

影象轉文字:在出版物或掃瞄件文件的影象轉文字(OCR)場景下,影象轉文字中也會出現識別錯誤的問題。因此句法依存分析和文字糾錯也可用在影象中的文字識別結果驗證中。

機器翻譯:svo轉sov的翻譯中,需要用到依存文字分析對句子結構進行重排序。基於句法的文字翻譯由此而誕生。

資訊抽取:依存句法能夠有效的分析出句子中各詞語之間的依存關係,通過對其這一功能的應用,可以使實體關係抽取成為可能。以「他是乙個壞人」為例,在上述結構下,「他」與「是」成主謂關係,「是」與「人」為動賓關係,「乙個」與「人」為定中關係。

「壞」與「人」同樣呈定中關係。根據依存句法,上述自然語句中各實體之間的關係能夠有效的體現。實體關係的抽取變得簡單。

6樓:敵人就在本能寺

想到的以下三種應用場景:

1、實體抽取與關係抽取以構建KB:

對於非結構化的語料來說,我們如果需要對該語料進行資訊的提取,如果單純使用constituency分析,無法分清head ->dependent。例如,CEO命令終止對某公司的交易,和某公司命令終止對CEO的交易,這兩種詞袋完全一樣,但是含義完全不同。此時,對該句子進行實體抽取,那麼可以使用簡單的constituency structure進行分析。

但是只有依賴依存文法分析,才能對其中dependent進行合理的分析,從而得出正確的關係,即誰發出的命令動作,以及這個動作是指向誰的什麼行為 。

2、改善複雜句式的機器翻譯效果:

雖然機器翻譯可以認為是一種成熟的工具,但是依然能夠使用依存文法分析對機器翻譯中表現不夠良好的複雜句子進行分析。例如,學院課上講的幾個例子:the student got first hand job experience, and the cop killed the man with the knife.

如果不進行依存語法分析,那麼對於first hand job experience或者對於with the knife的物件就會存在翻譯錯誤。

3、句子相似度計算:

依存文法分析對於句子相似度的計算有明顯的幫助。例如,在對詞語進行embedding並獲得句向量的過程中,如果單純使用加權平均、投票法,那麼得到的句子可能並不準確。而使用依存文法,則可以為dependent tree中的各詞賦予不同權重,從而獲得乙個更有意義的句向量。

7樓:facilitator

場景一:情感分析

具體步驟如下:

情感詞典構建:獲得不同情感類別的特徵詞彙。情感詞分為兩類,一類為表強度的詞彙(Ⅰ類),包括否定詞和程度副詞,另一類為表情感的詞彙(Ⅱ類),包括正面和負面傾向的詞彙。

情感詞典構建:獲得不同情感類別的特徵詞彙

主觀句提取:提取包含情感詞的句子

語義依賴分析:利用依存句法分析,判斷情感詞在句子中的語法成分。

句子極性計算

情感聚合:考慮篇章結構,對主觀句的情感值進行加權求和。

場景二:語義理解

通過分析一段話的成分、結構,提取語句中的資訊。

場景三:翻譯

劃分句子結構後,進行翻譯,將有助於提高翻譯的準確度。

8樓:張慶宇

依存文法分析,目的是通過分析句子結構內成分的相關關係,進一步發掘句法結構。

現在的研究大部分聚焦於能大量減少人工成本的,並且可以快速訓練和分析,最終準確率也有所提公升的的深度學習演算法。但是由於其不穩定的確定,在工業界尚未被廣泛使用。

現階段,工業界更加推崇的還是穩定性更好,操作性更強,功能更加複雜的MSTParser和MaltParser演算法。關於其可以應用的場景,(根據課程資料分享),目前主要用於機器翻譯,文字生成,以及生物或者化學領域的關係分析中。

9樓:衝鴨

依存文法分析主要分析句子語義主謂賓定狀補組成及其對應的邏輯關係,適合對長句子進行快速理解分析,類似於英文中的長難句理解的任務。

應用場景:

① 長句子解析,摘要提取:通過依存文法分析快速抽取長句子主幹,去除噪音語素,生成摘要,更適合海量資訊文字下的挖掘分析;

② 熱點事件挖掘:依存文法分析可以很好挖掘包含主謂賓關係的語素邏輯,正好適合描述事件發生的語境句,例如××公司與××公司達成合作、××推出××產品等,可以用於事件的探查和挖掘;

③ 圖譜關係三元組挖掘:通過依存文法分析可以構建大量的三元組關係,比如主謂賓等,可以作為一種關係挖掘手段用來構建圖譜;

④ 作為基礎特徵進行嵌入,輔助其他下游任務的模型訓練:例如可以把詞彙的依存關係加入詞彙特徵中,輔助實體識別的效果提公升;

10樓:轉眼披風

依存文法通過詞彙之間的依存關係表達整個句子結構,這些依存關係表達了句子各成分之間的語義依賴關係。所有詞彙之間的依存關係構成一顆句法樹,樹的根節點為句子核心謂詞,用來表達整個句子的核心內容。通過依存文法樹中的依賴關係,可以獲得具有特定語法關係的兩個詞彙。

具有依存關係的兩個詞彙不一定相鄰,兩詞之間往往存在其他詞彙。

應用情感分析:

情感詞典構建:獲得不同情感類別的特徵詞彙。情感詞分為兩類,一類為表強度的詞彙(Ⅰ類),包括否定詞和程度副詞,另一類為表情感的詞彙(Ⅱ類),包括正面和負面傾向的詞彙。

語義依賴分析:以依存句法分析為基礎,判斷情感詞在句子中的語法成分。

句子極性計算:根據情感詞彙及其語法成分、情感詞與否定詞之間的句法關係,構建規則,計算句子極性。

情感聚合:考慮篇章結構,對主觀句的情感值進行加權求和,判斷篇章情感傾向。主觀句距離篇章首尾越近,權值越大。

常用的語法關係包括:

核心謂詞的並列關係(COO)詞

核心謂詞的動賓關係(VOB)詞

在處理長句子時,還需用到核心謂詞的多級並列關係詞(並列的並列……)。

實際場景:機器翻譯,文字生成,語言理解,自動問答系統等等。

參考於:https://

blog.csdn.net/qq_178320

03/article/details/84396257?utm_medium=distribute.pc_relevant.

none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-2.control&depth_1-utm_source=distribute.pc_relevant.

none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-2.control

貪心學院的NLP課程怎麼樣呢?

Ytfhj159 課程還是很好的,對比了幾家機構才選擇的貪心學院,也是看中了課程的口碑和貪心的品牌,課程內容和安排沒有什麼問題,有沒有對自己的狀況起到作用的話主要還是看自己的用心程度和對知識的接受程度吧。 Hippo 之前我也在網上學習過一些課程,但是整體的效果確實不太好,也很耽誤自己學習的時間,前...

貪心學院 關於模型過擬合現象,有哪些解決思路, 至少列出3項 (可以針對不同的模型來講述)?

Rock 假設這是一道面試題,而前面的同學答了很多,比自己知道的要多,那該如何回答?過擬合,如果從模型下手的確有很多辦法優化。但我個人的經驗 心裡是模型優化我不熟哦 讓我相信一點 資料質量對結果的貢獻率是80 那麼為什麼不把精力先放在資料上呢?然後調取吳恩達教程裡有關資料優化的辦法扔出去。這些做完後...

貪心學院 深度學習是很多模型的疊加,這種深度模型跟淺層模型相比有什麼優勢呢?

Hanamaki 有一種說法 在自然語言領域,淺層模型解析的是語法結構,深層模型解析的是語義結構,例如 我愛北京和北京愛我 從語法上來說兩個都是對的,都是主謂賓,但是從意義上來說,第二句不對因為北京是個地點無法有愛這種動作。語義建模 或語義語法 通常與語言建模 或語言語法 相比較,我們現在從二者的定...