1樓：南陽布衣
不請自來，我在宗成慶老師的《統計自然語言處理》中看到了這個，也覺得有些奇怪，為什麼要以p的概率，而不是q的概率（或者說二者都用上）
後來我搜了wikipedia，上面是這個說的
in mathematic statistics, the Kullback-Leibler divergence(also called relative entropy) is a measure of how one probability distribution is different from a second, reference probability distribution
這裡應該就比較易懂，相對熵是q相對於p的差異，p是第2個作為參考的；log(p/q)是差異，p是參考所以應該乘以p，先計算差異，後根據概率加和平均
另外附上宗老師給的定義：
相對熵(relative entropy)又稱Kullback-Leibler差異（Kullback-Leibler divergence）,或簡稱KL距離，是衡量相同事件空間裡兩個概率分布相對差距的測度
我覺得題主給的，只能說明資訊熵差別大不大（先根據概率計算平均，再算差異），不能說明二者是不是接近（先計算差異，後根據概率加和平均），而相對熵，偏向於後者
（剛發現是18年的，就當拋磚引玉吧）
2樓：
相對熵本來是乙個在p，真實分布下，對兩個分布對數比值的乙個期望，這麼一改就不是期望了~
不是期望的話，很多地方的計算會不太方便，比如對期望的微分可以用蒙特卡羅方法無偏估計成對微分的期望~
順便，也不要求以2為底~
而且你改完之後，變成兩個熵的差，那擲兩個不均勻的色子，色面點數分布不同，這兩個分布就沒有差別了吧~但實質上顯然差別挺大的，尤其是極端情況，乙個總出正面的硬幣和乙個總出反面的硬幣~總不能認為分布一樣吧~
守望先鋒匹配機制是不是很不合理？
一心一翊丶 不合理的匹配機制特別沙雕我感覺快速就是按照隊伍隱藏分最高的人拍的等級也是 競技的話也會有影響但大體上差別不大除非遇到帶哥 石浸故淵 匹配機制本身問題不大，對新手也算友好。但是再完善的匹配機制也沒法左右人類的主觀能動性。同分段，兩隊伍平均分數差不多，但是總有炸魚的或者代練的，你匹配機制再好...
請問ATP網球的積分制度是不是不合理？
是你理解得不對啊。從沒什麼負分不負分的說法。ATP實際上並沒有扣分這個說法，都是球迷為了計算容易。比如，假設某個球員一年了20項賽事。目前正在打印第安韋爾斯。他去年獲得冠軍，那麼他這項賽事積分是1000分。這個分數計算在ATP積分系統裡，一共52周，52週後，往往就是今年這項賽事結束後，去年的積分不...
天天象棋沒有讀秒是不是有點不合理？
魏蜀吳 包乾制對雙方都是公平的，同時天天象棋的評測是加秒制，30分場時讀秒制。棋力評測局時15分，步時1.5分，加秒5秒。5分場局時5分，步時1分，包乾。10分場局時10分，步時1.5分，包乾。山頂賽同 20分場局時20，步時2分，讀秒30秒。 棋子 儘管我也經常會在馬上就要贏棋之前被超時判負 很惱...