計算機語言處理txt以及其他文字，有哪些好的語言或者工具包推薦？

1樓：NLPIR

自然語言處理通用的關鍵技術

1、詞法分析

詞法分析包括詞形和詞彙兩個方面。一般來講，詞形主要表現在對單詞的字首、字尾等的分析，而詞彙則表現在對整個詞彙系統的控制。在中文全文檢索系統中，詞法分析主要表現在對漢語資訊進行詞語切分，即漢語自動分詞技術。

通過這種技術能夠比較準確的分析使用者輸入資訊的特徵，從而完成準確的搜尋過程。它是中文全文檢索技術的重要發展方向。

2、句法分析

句法分析是對使用者輸入的自然語言進行詞彙短語的分析，目的是識別句子的句法結構，實現自動句法分析過程。其基本方法有線圖分析法、短語結構分析、完全句法分析、區域性句法分析、依存句法分析等。

3、語義分析

語義分析是基於自然語言語義資訊的一種分析方法，其不僅僅是詞法分析和句法分析這樣語法水平上的分析，而是涉及到了單詞、片語、句子、段落所包含的意義。其目的是從句子的語義結構表示言語的結構。中文語義分析方法是基於語義網路的一種分析方法。

語義網路則是一種結構化的，靈活、明確、簡潔的表達方式。

4、語用分析

語用分析相對於語義分析又增加了對上下文、語言背景、環境等的分析，從文章的結構中提取到意象、人際關係等的附加資訊，是一種更高階的語言學分析。它將語句中的內容與現實生活的細節相關聯，從而形成動態的表意結構。

5、語境分析

語境分析主要是指對原查詢語篇以外的大量「空隙」進行分析從而更為正確地解釋所要查詢語言的技術。這些「空隙」包括一般的知識，特定領域的知識以及查詢使用者的需要等。它將自然語言與客觀的物理世界和主觀的心理世界聯絡起來，補充完善了詞法、語義、語用分析的不足。

NLPIR大資料語義智慧型分析平台是根據中文資料探勘的綜合需求,融合了網路精準採集、自然語言理解、文字挖掘和語義搜尋的研究成果,並針對網際網路內容處理的全技術鏈條的共享開發平台。

NLPIR大資料語義智慧型分析平台十三大功能：

2樓：Vince

python即可。

既然目前能使用正規表示式，說明資訊分類的能力你已經具備了。

下乙個你需要的能力是把資訊結構化。

首先學會使用字典，把你拿到的每行句子做個索引，這樣你可以通過句子找到行數，找到從前的行是否存在這樣的句子；

然後學會用list，list可以保持順序；

學會組合上面兩個結構實現你想要的查詢和排序功能。

比如你這個功能

1. 建立乙個字典，key可以是每行的文字（如果特別長也可以考慮做hash演算法，比如md5，但是value就要到乙個list了）。value是乙個物件或者字典（當然list也可以），儲存內容有以下幾個：

行數、句子內容（key裡是有的，不記錄也可以）、相同內容行的行號list、其他（比如編號之類你想擴充套件的內容）；

2. 建立乙個引用字典，記錄某個行號對應的引用列表；

3. 遍歷每行資料，如果字典裡不存在這句就往裡記錄對應的資訊，如果有，就把行好記錄到value裡相同行號的list裡。如果有引用，記錄到第二項的引用字典裡；

4. 你有所有的資訊了，遍歷第乙個字典，重新安排到乙個list裡（比如第一行資訊放到list第0個位置），同時檢查第二個字典的引用情況，把引用資訊也重新安排一下。這樣list包含了句子、引用資訊等（這個用乙個物件、字典或者list存也可以）；

5. 然後你就可以拿著這個新的列表（list）隨意玩耍了。