為什麼 deep belief network DBN 代表的逐層訓練沒有流行起來?

時間 2021-06-07 18:48:51

1樓:

假設乙個DBN-ELM網路由n層RBM結構和一層單隱層結構組成

整個DBN-ELM網路的學習訓練過程可以分為兩個階段。第一階段為訓練n層RBM結構,目的是獲取輸入資料的特徵。對於任意兩層RBM結構而言,上一層隱含層的輸出將作為下一層的輸入。

而在同一層RBM結構中,通過最大化RBM在輸入資料上對數似然函式來擬合訓練資料。其具體訓練方法如下:

1)隨機初始化RBM的引數,設定迭代次數。

2)將輸入資料賦值給可見層單元。

3)根據可見層和隱含層的能量函式和狀態概率,計算可見層和隱含層的啟用概率。

4)將對數似然函式相對於模型引數進行求導,訓練方法採用比散度演算法(contrastive divergence),從而對連線權重、可見層偏置、隱含層偏置引數進行更新

5)若迭代次數達到設定值,則訓練結束,根據獲得的連線權重、可見層、隱含層偏置引數將資料輸出。若迭代次數未達到設定值,則將連線權重、可見層偏置、隱含層偏置引數代入第三步,繼續訓練更新。

第二階段為最頂層的ELM結構完成監督分類訓練。在頂層的ELM中,利用最末層RBM的輸出資料作為輸入,隨機產生網路中的輸入權重和隱藏單元偏置值,將訓練轉化為線性問題,利用最小二乘法,使輸出誤差最小。完成整個DBN-ELM網路的訓練。

2樓:Macropodus

多層神經網路存在非凸優化、梯度消失、過擬合等問題。DBN解決的只是梯度消失問題,它的非監督貪心逐層訓練演算法過程演算法複雜性過高,每層的貪婪學習權值矩陣,訓練時間太長,無法有效地應用於大規模學習問題。DBN能夠處理的問題,大約也只是早期的3~4層神經網路問題。

為什麼要重男輕女,為什麼?

Stunk 簡單說說國內重男輕女的假象 嫁出去的女兒潑出去的水 這是一句俗話,深入人心 現代社會,物質生產跟上來了,女兒們開始反哺原生家庭了,於是也出現了農村地區殺男嬰的故事 先說說古代為何 重男輕女 因為女兒不顧原生家庭 在物質匱乏的古代,生存本來就是一件難事,讓女人來顧家是不可能的 怎麼得出這個...

為什麼那麼焦慮?為什麼那麼勢利?為什麼那麼急於成功?

個人感覺最重要的是人在社會中的安全感。其實真不是每個人都那麼地渴望成功,而且成功的定義本來就是多種多樣的。但在中國,如果你沒有達到廣泛定義上的 成功 你可能會有以下的結果 你可能在城市中會隨時沒有安身之所,你可能會遭受不公但投訴無門,你的父母至親可能患病也得不到最基本救助,你的孩子可能得不到平等的教...

我為什麼是我?為什麼?

主角戲 馬克思說過,人是所有社會關係的總和,所以首先,你作為人來說,你只是你周圍所有關係的總和,你的偏執,你的瘋狂,你的愛情,你的孝順,你的所有人生觀,價值觀,世界觀,宇宙觀,形成了你。但是你錯誤的把這些當成了你,其實這些都是人的錯誤認識,心 的本體,也就是能生萬物,能生萬法的這個東西沒有被發現之前...