線性空間的對偶空間和優化裡的拉格朗日對偶有什麼關係?

時間 2021-05-06 19:14:16

1樓:落落大方的發卡

首先你要明白對偶問題的實質是什麼,

乙個簡單而深刻的原理:閉凸集外一點到這個凸集的距離,恰好等與這個點到所有分離這個點與凸集的超平面的距離的上確界。

求一點到凸集的距離,這是乙個最小化的問題;求一點到若干超平面的距離最大值,這是乙個最大化問題。

事實上,在泛函分析中,每個超平面都能與乙個線性泛函聯絡起來,最後的對偶問題,其實是想找乙個線性泛函!

2樓:覃含章

這兩個概念是非常有關係的。不過,要搞清楚這層關係,這個問題會變得非常深刻,對此很多著名的凸分析書都有很深入的闡述,比如R.T.

Rockafellar的Convex Analysis 30章就寫的非常清楚。

下面我給乙個更intuitive的闡釋。

然而從純粹數學的角度來說這種情況也只是所有情況中的乙個特例。為此,不失一般性,我們考慮如下情況:讓是乙個有限維的在中的向量空間(不必是內積空間)。

順便先指出,凸分析裡對對偶問題的核心思路其實是把乙個凸集(convex set)用它的支撐超平面(hyperplanes)來表示。注意,對閉凸集(closed convex sets)來說二者可以說是等價的,因為任何乙個閉凸集都是包含它的所有半平面(halfspaces)的交集(Theorem 11.5 in R.

T. Rocafellar)。實際上這便是對集合的「對偶表示」。

注意是定義在上的,所以我們已經看到了對偶空間在優化理論中描述「對偶」的作用。接下來我們說明如何進一步推導出其和拉格朗日對偶的關係(我們先推導乙個一般情況的)。注意在優化理論中,對偶問題是通過對原問題進行擾動(perturb)才得到的(對於這一點,不僅R.

T. Rockafellar凸分析的30章寫的很好,A. Shapiro有本Perturbation Analysis of Optimization Problems整本書都在闡述這一核心思想),而不同的擾動方式會得到不同形式的對偶問題,這也是我們常看到等價的原問題會有不同的對偶形式的原因。

為了說明這一點,我們考慮如下優化問題(記作原問題):,其中是凸的。

對任意,原問題的擾動問題定義為。接著定義函式,則顯然原問題等價於估計的值。注意根據共軛函式的定義我們有而且滿足一些特定的regularity條件我們就有等號成立(比如在0點處有次梯度,這對凸函式來說是trivial的)。

由此,我們定義對偶問題為估計的值。或者利用是在0點的共軛得到的等價定義:.

對比關於的定義,我們得到了一組min-max的對偶形式,在原問題中出現的是和定義域,在對偶問題中出現的是變數,的共軛和的對偶空間,在數學上十分優美。

最後我們給出拉格朗日對偶是這個框架的特例。此時,定義為

可以被擾動成(對任意)

沿用之前的定義,我們知道0 )" eeimg="1"/>那麼仍然可以看做在估計的值。為了求,我們知道我們需要求出的顯式形式,即

注意到的對偶空間和同構,我們用代替,那麼顯然

3樓:

看了 @覃含章的答案感覺自己答得太淺薄了,所以只留下講義推薦和definition

dual space是所有linear functionals(linear map from Vector space to Field) 組成的vector space.

lagrange duality是將原來的問題轉換成乙個對偶問題即primal problem 和 dual problem,其中通過解決dual problem可以給primal提供解集的一定範圍。

推薦伯村的這個講義..

向量空間 對偶數空間的單擺系統識別

老司機來答了因人而異 如果對方很慢熱,並且暗示了不想太快,就一定不要苦苦央求甚至霸王硬上弓!不然遲早得分!但如果對方是比較開放,對你的一些行為上的暗示沒有做任何閃躲的話,那就大膽去吧!第一次見面也可以!再三確認是否匿名了 Talent 我和我物件談了一年多了,我們一起出去旅遊過,在一張床上睡過,不過...

既然實空間和動量空間完全是對偶的,為什麼我們對空間的直覺認識是建立在實空間上的呢?

吳宇倫 我之前看到知乎上的乙個經典回答。問的是為什麼人類無法理解四維空間。首先你先想象乙隻綠顏色的狗,顯然這種顏色的狗是不存在的,但是你可以腦補出綠顏色的狗是什麼樣的,因為你知道綠色是什麼顏色,其次你知道狗張什麼樣,所以你可以想象出來。但是這兩個條件中的任何乙個你不知道,你是腦補不出這個畫面的。這就...

線性代數 請問n維向量空間和向量空間的概念有區別嗎?

向量空間如果n個向量能組成一組基,那麼就是n維的。如果不存在有限個向量組成的基,就是無限維的。如果刻意說n維向量空間,就是強調它是有限維的,有一組由有限個向量組成的基。以及不要認為n維向量空間裡的元素都是那種有n個分量的一長條東西,向量沒有固定的形式,一團不管什麼東西,只要它們滿足那些條件就是向量空...