Değer işlevi - Value function

Değer fonksiyonu bir bir optimizasyon problemine verir değeri ile elde amaç fonksiyonu sadece bağlı iken, bir çözüme parametrelerinin sorunun. Bir de kontrollü dinamik sistem , değer fonksiyonu aralığı boyunca sisteminin en iyi getiriyi temsil eder [t, t ₁ ] zamana baktığında t durum değişkeni x (t) = x . Amaç işlevi, en aza indirilecek bir miktar maliyeti temsil ediyorsa, değer işlevi, en uygun programı bitirmenin maliyeti olarak yorumlanabilir ve bu nedenle "maliyet işlevi" olarak adlandırılır. Amaç fonksiyonunun genellikle faydayı temsil ettiği ekonomik bir bağlamda, değer fonksiyonu kavramsal olarak dolaylı fayda fonksiyonuna eşdeğerdir .

Optimal kontrol probleminde , değer fonksiyonu, kabul edilebilir kontroller setini devralan amaç fonksiyonunun üstünlüğü olarak tanımlanır . Verildiğinde , tipik bir optimal kontrol problemi, $[0, t_ {1}] \ times \ mathbb {R} ^ {d}} içinde {\ displaystyle (t_ {0}, x_ {0}) \$

${\ displaystyle {\ text {maksimize}} \ quad J (t_ {0}, x_ {0}; u) = \ int _ {t_ {0}} ^ {t_ {1}} I (t, x (t ), u (t)) \, \ mathrm {d} t + \ phi (x (t_ {1}))}$

tabi

${\ displaystyle {\ frac {\ mathrm {d} x (t)} {\ mathrm {d} t}} = f (t, x (t), u (t))}$

ilk durum değişkeni ile . Amaç fonksiyonu tüm kabul edilebilir kontrolleri üzerinde maksimize edilecek , bir olan Lebesgue ölçülebilir fonksiyonu gelen bazı reçeteli keyfi kümesine . Değer işlevi daha sonra şu şekilde tanımlanır: ${\ displaystyle x (t_ {0}) = x_ {0}}$${\ displaystyle J (t_ {0}, x_ {0}; u)}$${\ displaystyle u \ U [t_ {0}, t_ {1}]}$${\ displaystyle u}$${\ displaystyle [t_ {0}, t_ {1}]}$${\ displaystyle \ mathbb {R} ^ {m}}$

ile , nerede olduğunu hurda değer. Optimal kontrol ve durum yörüngeleri çifti ise , o zaman . Mevcut duruma bağlı olarak en uygun kontrolü sağlayan işleve bir geribildirim kontrol politikası veya sadece bir politika işlevi denir. ${\ displaystyle V (t_ {1}, x (t_ {1})) = \ phi (x (t_ {1}))}$${\ displaystyle \ phi (x (t_ {1}))}$${\ displaystyle (x ^ {\ ast}, u ^ {\ ast})}$${\ displaystyle V (t_ {0}, x_ {0}) = J (t_ {0}, x_ {0}; u ^ {\ ast})}$${\ displaystyle h}$${\ displaystyle u ^ {\ ast}}$${\ displaystyle x}$

En iyilik Bellman prensibi kabaca zamanda herhangi optimum politikası belirtiyor , mevcut durumu alarak "yeni" başlangıç koşulu olarak kalan sorun için en uygun olmalıdır. Değer fonksiyonu sürekli olarak türevlenebilir ise , bu Hamilton – Jacobi – Bellman denklemi olarak bilinen önemli bir kısmi diferansiyel denklemin ortaya çıkmasına neden olur , ${\ displaystyle t}$${\ displaystyle t_ {0} \ leq t \ leq t_ {1}}$${\ displaystyle x (t)}$

${\ displaystyle - {\ frac {\ kısmi V (t, x)} {\ kısmi t}} = \ max _ {u} \ sol \ {I (t, x, u) + {\ frac {\ kısmi V (t, x)} {\ kısmi x}} f (t, x, u) \ sağ \}}$

nerede maximand sağ tarafta da tekrar genel yazılabilir Hamiltoniyenin , gibi ${\ displaystyle H \ sol (t, x, u, \ lambda \ sağ) = I (t, x, u) + \ lambda f (t, x, u)}$

${\ displaystyle - {\ frac {\ kısmi V (t, x)} {\ kısmi t}} = \ max _ {u} H (t, x, u, \ lambda)}$

ile rolünü oynayan kaburgalı değişkenleri . Bu tanım göz önüne alındığında, ayrıca HJB denkleminin her iki tarafını da farklılaştırdıktan sonra , ${\ displaystyle \ kısmi V (t, x) / \ kısmi x = \ lambda (t)}$${\ displaystyle \ mathrm {d} \ lambda (t) / \ mathrm {d} t = \ kısmi ^ {2} V (t, x) / \ kısmi x \ kısmi t + \ kısmi ^ {2} V (t, x) / \ kısmi x ^ {2} \ cdot f (x)}$${\ displaystyle x}$

${\ displaystyle - {\ frac {\ kısmi ^ {2} V (t, x)} {\ kısmi t \ kısmi x}} = {\ frac {\ kısmi I} {\ kısmi x}} + {\ frac { \ kısmi ^ {2} V (t, x)} {\ kısmi x ^ {2}}} f (x) + {\ frac {\ bölüm V (t, x)} {\ kısmi x}} {\ frac {\ kısmi f (x)} {\ kısmi x}}}$

uygun terimleri değiştirdikten sonra maliyet denklemini kurtarır

${\ displaystyle - {\ nokta {\ lambda}} (t) = {\ frac {\ kısmi I} {\ kısmi x}} + \ lambda (t) {\ frac {\ kısmi f (x)} {\ kısmi x}} = {\ frac {\ kısmi H} {\ kısmi x}}}$

burada bir Newton gösterimde zamana göre türevi için. ${\ displaystyle {\ nokta {\ lambda}} (t)}$

Değer fonksiyonu, Hamilton – Jacobi – Bellman denkleminin benzersiz viskozite çözümüdür . Bir in çevrimiçi kapalı döngü olarak optimal kontrol değeri fonksiyonu da Lyapunov fonksiyonu kapalı döngü sisteminin global kararlılık kurar.

Referanslar

daha fazla okuma

• Caputo, Michael R. (2005). "İzoperimetrik Problemler İçin Gerekli ve Yeterli Koşullar" . Dinamik Ekonomik Analizin Temelleri: Optimal Kontrol Teorisi ve Uygulamaları . New York: Cambridge University Press. s. 174–210. ISBN   0-521-60368-4 .
• Clarke, Frank H .; Loewen, Philip D. (1986). "Optimum Kontrolde Değer Fonksiyonu: Hassasiyet, Kontrol Edilebilirlik ve Zaman Optimalliği". SIAM Kontrol ve Optimizasyon Dergisi . 24 (2): 243–263. doi : 10.1137 / 0324014 .
• LaFrance, Jeffrey T .; Barney, L. Dwayne (1991). "Dinamik Optimizasyonda Zarf Teoremi" (PDF) . Ekonomik Dinamikler ve Kontrol Dergisi . 15 (2): 355–385. doi : 10.1016 / 0165-1889 (91) 90018-V .
• Stengel, Robert F. (1994). "Optimallik Koşulları" . Optimal Kontrol ve Tahmin . New York: Dover. s. 201–222. ISBN   0-486-68200-5 .