知識圖譜的構建流程?

時間 2021-05-12 02:32:29

1樓:想想想財務自由

你好。我的專欄除了github示例,還有構建知識圖譜常用的工具平台,以及學習資源。望參考。

想想想財務自由:[Github]知識圖譜的應用示例想想想財務自由:【持續更新】知識圖譜相關工具平台整理想想想財務自由:知識圖譜學習資源(持續更新)

2樓:王大力

知乎首答,想認真寫一寫。

本科211,碩士美國渣渣學校畢業後,18年進入某網際網路旅遊公司從事內容挖掘的工作。當時leader:鵝廠來的博士3-3 帶我一起做旅遊行業的知識圖譜,並且最後再一些專案上落地。

借用《寒戰2》中前警務處蔡處長的一句話,技術從來都只是手段,人才是關鍵。

知識圖譜,wiki上的定義是:語義網路,一種基於圖的資料結構,由節點和邊構成。

拋開技術看邏輯。從我的角度,語義網路應該被定義成一種邏輯,一種資料管理的邏輯結構。並不依賴於圖資料庫(neo4j等)。作為一種資料管理邏輯,sql資料庫可以承擔起這樣的任務。

2. 基於場景定資料。任何專案都是要基於業務和落地場景,如Google的圖譜是基於人物關係,比爾蓋茨的父母,所創辦的公司,妻子和子女等;LinkedIn是基於社交網路構建的圖譜,朋友的朋友還是好朋友(嘻嘻)。

而我所做的旅行圖譜是基於目的地景點(為了便於描述,以景點舉例)以及景點所具有的一種概念玩法(如:滑雪、觀星、寺廟等)的圖譜結構。

3. 資料+演算法確定圖譜。資料主要由結構化資料(直接可用)和非結構化資料(海量文字挖取)。演算法主要由傳統機器學習演算法+NLP相關演算法(NER、BERT、DNN、RNN等)。

以4層垂直結構為主體,各層級之間存在相互關係。最頂層為包裝層,其作用是面向不同業務的概念玩法包裝。

以下是一些我所驗證過的,有一定效果的演算法;個人比較傾向於模型的累加,不同方法的交叉驗證;已經通過度量學習把無監督演算法向有監督演算法的轉變,從而提高模型準確性。

以下是一些節點關係以及上線效果:

推薦首頁pv提公升 5%

7-365天沉默使用者啟用提公升63%

個人認為圖譜的落地與搜尋推薦息息相關。但在一些精準領域,例如金融和醫療,是比較難以構建的。個人在此推薦一種確認兩個節點之間關係是否存在以及相關程度高低的方法:

利用貝葉斯先驗的思想,借用搜尋引擎,輸入兩個待測節點,分析獲取到的回傳內容,從而判斷兩節點相關程度。

可以有效地避免因人力不足而導致的資料準確度低的問題。

構建知識圖譜的軟體?

雲悠水澈 有人說腦圖是網狀結構圖,有人說是樹形圖,好像沒有標準定義。如果是專業的 全面 系統的研究和表示,可能網狀結構圖為好。但evernote 是乙個筆記,你是想找個樹形結構筆記嗎?如果是的話,可以試試小筑筆記,樹形結構,無限分層。如果不是必須要個有連線的圖的話,這個就更利於積累 梳理 利用知識,...

中文知識圖譜構建思路是什麼?

網感至察 網感至察 TML KnowledgeCloud如何實現 小知識 大資料 大知識 網感至察 網感至察發布 認知雲 新產品 提供一站式知識圖譜服務 剛開始接觸知識圖譜構建,目前要搞乙個KBQA,主要針對領域資料,最開始看到本體那一套,打算用Stanford Protege Apache Jen...

小領域知識圖譜應該怎麼構建?

禾雀花開 首先,需要清楚,建知識圖譜的目標是什麼?面向什麼應用場景,典型的場景包括 1 查詢類,例如問答 搜尋 推薦等,也包括對資訊抽取的支援 2 分析類,例如 自動分類 分析檢視 類結構分析檢視 類多維分析檢視 實體 例項關係分析檢視 等 3 知識自動化類,用於推理決策等 4 知識管理類,自動標籤...