求解LambdaMART的疑惑?

時間 2021-05-30 17:22:55

1樓:

Lambda梯度是為了加快訓練時間,減少迭代次數提出的。由於RankNet的損失函式是pair-wise的,訓練中每次更新網路引數的時間複雜度接近 。假設有n個doc,那麼第1個doc和其他任一doc組成的pair都需要進行一次迭代引數更新,依次類推共需更新 次。

如果將同乙個訓練樣本相關的梯度彙總(由於是pair-wise當然是分散在各個doc中)就形成了Lambda梯度,n個doc共有n個梯度,僅需進行n次引數更新。Lambdart梯度的物理意義就是pair-wise損失函式中每個doc的彙總梯度

2樓:

最近也在學習LambdaMART,在自己基礎不太好的情況下,各種理論的闡述容易在腦子裡繞暈。然後我看到了這兩篇分析,是基於RankLib的原始碼,從實際資料的例子出發去講解LambdaMART是怎麼工作的 (並沒有具體說原始碼,主要是資料),供其他苦惱的朋友們解惑。LambdaMART簡介--基於Ranklib原始碼(一 lambda計算)

LambdaMART簡介--基於Ranklib原始碼(二 Regression Tree訓練)

3樓:姜國華

是梯度。RankNet在推導的時候只用了Ui比Uj的相關性高還是低(-1, 0, 1),沒用上包含位置資訊的評估指標(如NDCG),就推出了梯度lambda。所以LambdaMART的lambda,就強硬的在RankNet的lambda上乘上了評估指標的變化(因為評估指標不連續導致目標函式難以推導)。

注意RankNet到LambdaMART的目標函式,從代價函式變成了效用函式,所以從使用負梯度變成了正梯度。

大一學生,對人生充滿了疑惑,求解答?

人生處處有驚喜 不要把自己逼的太緊,走出了舒適圈就要慢慢適應當下的環境,要抱著開朗的心情可能你就會慢慢接受了 我也剛大一,剛來也挺迷茫的,不過慢慢的就適應了學習生活吧 我也是大一新生,剛來的時候非常不適應,因為這也是我第一次住校,第一次徹底的離開爸爸媽媽的庇護,感覺沒有了安全感。其實我也不太喜歡住校...

最近的疑惑?

阿殊迦 因果見解就是善有善報,惡有惡報。遵循五條原則 1.業決定2.自作自受3.未作業不受4.已作業不失5.業增長廣大。乙個不恰當的比方,過去的業像是一紙文憑,給你乙個開局。如果工作後積極進取,有很大可能超出文憑界定的範圍。比如二本的平均表現只能到某個水平,但你很努力,又聰明,所以超越了就業天花板。...

轉行的疑惑?

Horton Chen 想從學徒做起,那你的發展方向是技師,例如焊接師傅 銑床師傅,跟你想做的模具設計機械設計方向不對。學徒發展成設計師的概率很小,別看很多設計師都當過學徒,那是組織安排去培養的。機械是很不適合外行人轉入的。做機械設計要對數學 靜力學 動力學 材料力學 材料學 運動學 工藝學 互換性...