Funkce podmodulární sady - Submodular set function

V matematice je submodulární množinová funkce (známá také jako submodulární funkce ) množinová funkce, jejíž hodnota má neformálně tu vlastnost, že rozdíl v přírůstkové hodnotě funkce, kterou jeden prvek vytváří při přidání do vstupní množiny, klesá s tím, jak velikost vstupní sady se zvětší. Submodulární funkce mají přirozenou vlastnost snižujících se výnosů, což je činí vhodnými pro mnoho aplikací, včetně aproximačních algoritmů , teorie her (jako funkce modelování uživatelských preferencí) a elektrických sítí . V poslední době submodulové funkce také našly nesmírnou užitečnost v několika problémech reálného světa v oblasti strojového učení a umělé inteligence , včetně automatické sumarizace , sumarizace více dokumentů , výběru funkcí , aktivního učení , umístění senzorů, sumarizace sběru obrázků a mnoha dalších domén.

Definice

Pokud je konečná množina , je submodular funkce je sada funkcí , kde značí napájecí sady z , který splňuje jednu z následujících stejných podmínek. ${\ displaystyle \ Omega}$${\ displaystyle f: 2 ^ {\ Omega} \ rightarrow \ mathbb {R}}$${\ displaystyle 2 ^ {\ Omega}}$${\ displaystyle \ Omega}$

1. Za každý se a každý máme, že . ${\ displaystyle X, Y \ subseteq \ Omega}$${\ displaystyle X \ subseteq Y}$${\ displaystyle x \ in \ Omega \ setminus Y}$${\ displaystyle f (X \ cup \ {x \}) - f (X) \ geq f (Y \ cup \ {x \}) - f (Y)}$
2. Pro každého to máme . ${\ displaystyle S, T \ subseteq \ Omega}$${\ Displaystyle f (S) + f (T) \ geq f (S \ pohár T) + f (S \ čepice T)}$
3. Pro všechny a takové, které máme . ${\ displaystyle X \ subseteq \ Omega}$${\ displaystyle x_ {1}, x_ {2} \ in \ Omega \ zpětné lomítko X}$${\ displaystyle x_ {1} \ neq x_ {2}}$${\ displaystyle f (X \ cup \ {x_ {1} \}) + f (X \ cup \ {x_ {2} \}) \ geq f (X \ cup \ {x_ {1}, x_ {2} \}) + f (X)}$

Nezáporná submodulární funkce je také subadditivní funkcí, ale subadditivní funkce nemusí být submodulární. Pokud se nepředpokládá konečnost, pak výše uvedené podmínky nejsou ekvivalentní. Zejména funkce definovaná if je konečný a pokud je nekonečný splňuje první podmínku výše, ale druhá podmínka selže, když a jsou nekonečné množiny s konečným průnikem. ${\ displaystyle \ Omega}$${\ displaystyle f}$${\ displaystyle f (S) = 1}$${\ displaystyle S}$${\ displaystyle f (S) = 0}$${\ displaystyle S}$${\ displaystyle S}$${\ displaystyle T}$

Typy submodulárních funkcí

Monotónní

Submodulární funkce je monotónní, pokud ji pro všechny máme . Mezi příklady monotónních submodulárních funkcí patří: ${\ displaystyle f}$${\ displaystyle T \ subseteq S}$${\ displaystyle f (T) \ leq f (S)}$

Lineární (modulární) funkce

Jakákoli funkce formuláře se nazývá lineární funkce. Navíc, pokud je f monotónní. ${\ displaystyle f (S) = \ součet _ {i \ v S} w_ {i}}$${\ displaystyle \ forall já, w_ {i} \ geq 0}$

Funkce s přidanou hodnotou rozpočtu

Jakékoli funkce formuláře pro každého a je nazýván rozpočet aditivní. ${\ displaystyle f (S) = \ min \ vlevo \ {B, ~ \ součet _ {i \ v S} w_ {i} \ doprava \}}$${\ displaystyle w_ {i} \ geq 0}$${\ displaystyle B \ geq 0}$

Funkce pokrytí

Pojďme být sbírkou podmnožin nějaké základní sady . Funkce pro se nazývá funkce pokrytí. To lze zobecnit přidáním nezáporných vah k prvkům. ${\ displaystyle \ Omega = \ {E_ {1}, E_ {2}, \ ldots, E_ {n} \}}$ ${\ displaystyle \ Omega '}$${\ displaystyle f (S) = \ vlevo | \ bigcup _ {E_ {i} \ v S} E_ {i} \ vpravo |}$${\ displaystyle S \ subseteq \ Omega}$

Entropie

Dovolit být sada náhodných proměnných . Pak pro každou máme submodulární funkci, kde je entropie množiny náhodných proměnných , fakt známý jako Shannonova nerovnost . Je známo, že existují další nerovnosti pro entropickou funkci, viz entropický vektor . ${\ displaystyle \ Omega = \ {X_ {1}, X_ {2}, \ ldots, X_ {n} \}}$${\ displaystyle S \ subseteq \ Omega}$${\ displaystyle H (S)}$${\ displaystyle H (S)}$${\ displaystyle S}$

Funkce hodnocení matroidů

Nechť je základní sada, na které je definován matroid. Potom je hodnostní funkce matroidu submodulární funkcí. ${\ displaystyle \ Omega = \ {e_ {1}, e_ {2}, \ tečky, e_ {n} \}}$

Non-monotónní

Submodulární funkce, která není monotónní, se nazývá nemonotónní .

Symetrický

Non-monotónní submodulární funkce se nazývá symetrická, pokud ji pro všechny máme . Mezi příklady symetrických nemonotónních submodulárních funkcí patří: ${\ displaystyle f}$${\ displaystyle S \ subseteq \ Omega}$${\ displaystyle f (S) = f (\ Omega -S)}$

Řezy grafů

Dovolit být vrcholy grafu . Pro jakýkoli soubor vrcholů nechat značí počet hran taková, že a . To lze zobecnit přidáním nezáporných vah k okrajům. ${\ displaystyle \ Omega = \ {v_ {1}, v_ {2}, \ tečky, v_ {n} \}}$${\ displaystyle S \ subseteq \ Omega}$${\ displaystyle f (S)}$${\ displaystyle e = (u, v)}$${\ displaystyle u \ v S}$${\ displaystyle v \ in \ Omega -S}$

Vzájemné informace

Dovolit být sada náhodných proměnných . Pak pro každou máme submodulární funkci, kde jsou vzájemné informace. ${\ displaystyle \ Omega = \ {X_ {1}, X_ {2}, \ ldots, X_ {n} \}}$${\ displaystyle S \ subseteq \ Omega}$${\ displaystyle f (S) = I (S; \ Omega -S)}$${\ displaystyle I (S; \ Omega -S)}$

Asymetrický

Non-monotónní submodulární funkce, která není symetrická, se nazývá asymetrická.

Řízené řezy

Dovolit být vrcholy orientovaného grafu . Pro jakýkoli soubor vrcholů nechat značí počet hran taková, že a . To lze zobecnit přidáním nezáporných závaží k směrovaným hranám. ${\ displaystyle \ Omega = \ {v_ {1}, v_ {2}, \ tečky, v_ {n} \}}$${\ displaystyle S \ subseteq \ Omega}$${\ displaystyle f (S)}$${\ displaystyle e = (u, v)}$${\ displaystyle u \ v S}$${\ displaystyle v \ in \ Omega -S}$

Kontinuální rozšíření

Rozšíření Lovász

Tato přípona je pojmenována po matematikovi László Lovász . Zvažte jakýkoli vektor , který každý z nich . Pak je rozšíření Lovász definováno jako místo, kde je očekávání nad zvoleno z jednotného rozdělení na intervalu . Rozšíření Lovász je konvexní funkce právě tehdy, pokud jde o submodulární funkci. ${\ displaystyle \ mathbf {x} = \ {x_ {1}, x_ {2}, \ tečky, x_ {n} \}}$${\ displaystyle 0 \ leq x_ {i} \ leq 1}$${\ displaystyle f ^ {L} (\ mathbf {x}) = \ mathbb {E} (f (\ {i | x_ {i} \ geq \ lambda \}))}$${\ displaystyle \ lambda}$${\ displaystyle [0,1]}$${\ displaystyle f}$

Multilineární rozšíření

Zvažte jakýkoli vektor , z nichž každý . Pak je multilineární rozšíření definováno jako . ${\ displaystyle \ mathbf {x} = \ {x_ {1}, x_ {2}, \ ldots, x_ {n} \}}$${\ displaystyle 0 \ leq x_ {i} \ leq 1}$${\ displaystyle F (\ mathbf {x}) = \ součet _ {S \ subseteq \ Omega} f (S) \ prod _ {i \ v S} x_ {i} \ prod _ {i \ notin S} (1 -x_ {i})}$

Konvexní uzávěr

Zvažte jakýkoli vektor , který každý z nich . Potom je konvexní uzávěr definován jako . Konvexní uzávěr jakékoli nastavené funkce je konvexní . Je možné ukázat, že pro submodulární funkce. ${\ displaystyle \ mathbf {x} = \ {x_ {1}, x_ {2}, \ tečky, x_ {n} \}}$${\ displaystyle 0 \ leq x_ {i} \ leq 1}$${\ displaystyle f ^ {-} (\ mathbf {x}) = \ min \ left (\ sum _ {S} \ alpha _ {S} f (S): \ sum _ {S} \ alpha _ {S} 1_ {S} = \ mathbf {x}, \ sum _ {S} \ alpha _ {S} = 1, \ alpha _ {S} \ geq 0 \ right)}$${\ displaystyle [0,1] ^ {n}}$${\ displaystyle f ^ {L} (\ mathbf {x}) = f ^ {-} (\ mathbf {x})}$

Konkávní uzavření

Zvažte jakýkoli vektor , který každý z nich . Potom je konkávní uzávěr definován jako . ${\ displaystyle \ mathbf {x} = \ {x_ {1}, x_ {2}, \ tečky, x_ {n} \}}$${\ displaystyle 0 \ leq x_ {i} \ leq 1}$${\ displaystyle f ^ {+} (\ mathbf {x}) = \ max \ left (\ sum _ {S} \ alpha _ {S} f (S): \ sum _ {S} \ alpha _ {S} 1_ {S} = \ mathbf {x}, \ sum _ {S} \ alpha _ {S} = 1, \ alpha _ {S} \ geq 0 \ right)}$

Vlastnosti

1. Třída submodulárních funkcí je uzavřena pod nezápornými lineárními kombinacemi . Zvažte jakoukoli submodulární funkci a nezáporná čísla . Pak je funkce definovaná submodulární. ${\ displaystyle f_ {1}, f_ {2}, \ ldots, f_ {k}}$${\ displaystyle \ alpha _ {1}, \ alpha _ {2}, \ ldots, \ alpha _ {k}}$${\ displaystyle g}$${\ displaystyle g (S) = \ součet _ {i = 1} ^ {k} \ alpha _ {i} f_ {i} (S)}$
2. Pro jakoukoli submodulární funkci je funkce definovaná jako submodulární. ${\ displaystyle f}$${\ displaystyle g (S) = f (\ Omega \ setminus S)}$
3. Funkce , kde je reálné číslo, je submodulární, kdykoli je monotónní submodulární. Obecněji je submodulární pro jakoukoli neklesající konkávní funkci . ${\ displaystyle g (S) = \ min (f (S), c)}$${\ displaystyle c}$${\ displaystyle f}$${\ displaystyle g (S) = h (f (S))}$${\ displaystyle h}$
4. Zvažte náhodný proces, při kterém je vybrána sada, přičemž každý prvek je zahrnut nezávisle s pravděpodobností . Pak platí následující nerovnost, kde je prázdná množina. Obecněji zvažte následující náhodný proces, kde je sada konstruována následovně. Pro každý konstrukt zahrnutím každého prvku do nezávisle s pravděpodobností . Dále nechť . Pak je následující nerovnost pravdivá . ${\ displaystyle T}$${\ displaystyle \ Omega}$${\ displaystyle T}$${\ displaystyle p}$${\ displaystyle \ mathbb {E} [f (T)] \ geq pf (\ Omega) + (1-p) f (\ varnothing)}$${\ displaystyle \ varnothing}$${\ displaystyle S}$${\ displaystyle 1 \ leq i \ leq l, A_ {i} \ subseteq \ Omega}$${\ displaystyle S_ {i}}$${\ displaystyle A_ {i}}$${\ displaystyle S_ {i}}$${\ displaystyle p_ {i}}$${\ displaystyle S = \ cup _ {i = 1} ^ {l} S_ {i}}$${\ displaystyle \ mathbb {E} [f (S)] \ geq \ sum _ {R \ subseteq [l]} \ Pi _ {i \ v R} p_ {i} \ Pi _ {i \ notin R} ( 1-p_ {i}) f (\ cup _ {i \ in R} A_ {i})}$

Problémy s optimalizací

Submodulární funkce mají vlastnosti, které jsou velmi podobné konvexním a konkávním funkcím . Z tohoto důvodu lze problém s optimalizací, který se týká optimalizace konvexní nebo konkávní funkce, také popsat jako problém maximalizace nebo minimalizace submodulární funkce podléhající určitým omezením.

Minimalizace funkce podmodulární sady

Nejjednodušší problém s minimalizací je najít množinu, která minimalizuje submodulární funkci; to je neomezený problém. Tento problém je vypočítatelný v (silně) polynomiálním čase . Výpočet minimálního řezu v grafu je zvláštním případem tohoto obecného problému minimalizace. Přidání i tak jednoduchého omezení, jako je dolní mez mohutnosti, však minimalizuje problém NP minimalizace , přičemž polynomiální faktor má dolní hranice pro aproximační faktor. ${\ displaystyle S \ subseteq \ Omega}$

Maximalizace funkce podmodulární množiny

Na rozdíl od minimalizace je maximalizace submodulárních funkcí NP-hard i v neomezeném nastavení. Teorie a enumerační algoritmy pro hledání lokálních a globálních maxim (minim) submodulárních (supermodulárních) funkcí lze nalézt v B. Goldengorin. European Journal of Operational Research 198 (1): 102-112, DOI: 10.1016 / j.ejor.2008.08.022. Například max cut je speciální případ, i když je požadována pouze nezáporná funkce. Neomezený problém lze prokázat jako nepřijatelný, pokud je dovoleno být záporný. Tam byla rozsáhlá práce na omezené submodulární maximalizaci funkcí, když jsou funkce nezáporné. Algoritmy aproximace těchto problémů jsou obvykle založeny na chamtivých algoritmech nebo algoritmech místního vyhledávání . Problém maximalizace nezáporné symetrické submodulární funkce připouští algoritmus aproximace 1/2. Výpočet maximálního řezu grafu je zvláštním případem tohoto problému. Obecnější problém maximalizace nezáporné submodulární funkce také připouští algoritmus aproximace 1/2. Problém maximalizace monotónní submodulární funkce podléhající omezení mohutnosti připouští aproximační algoritmus. Zvláštní problém tohoto problému je problém maximálního pokrytí . Obecnější problém maximalizace monotónní submodulární funkce podléhající omezení matroidu také připouští aproximační algoritmus. Mnoho z těchto algoritmů lze sjednotit v semi-diferenciálním rámci algoritmů. ${\ displaystyle 1-1 / e}$${\ displaystyle 1-1 / e}$

Související problémy s optimalizací

Kromě submodulární minimalizace a maximalizace je dalším přirozeným problémem rozdíl submodulární optimalizace. Bohužel tento problém je nejen NP tvrdý, ale také nepřijatelný. Souvisejícím problémem optimalizace je minimalizace nebo maximalizace submodulární funkce, s výhradou omezení podmodulární úrovně (také se nazývá podmodulární optimalizace s podmodulárním krytem nebo podmodulárním omezením batohu). Tento problém připouští omezené záruky aproximace. Další problém s optimalizací zahrnuje rozdělení dat na základě submodulární funkce, aby se maximalizoval průměrný blahobyt. Tento problém se nazývá submodulární problém welfare.

Aplikace

Submodulární funkce se přirozeně vyskytují v několika aplikacích v reálném světě, v ekonomii , teorii her , strojovém učení a počítačovém vidění . Díky vlastnosti klesajícího výnosu submodulární funkce přirozeně modelují náklady na položky, protože často existuje větší sleva s nárůstem položek, které si člověk koupí. Submodulární funkce modelují pojmy složitosti, podobnosti a spolupráce, když se objeví v minimalizačních problémech. V problémech s maximalizací naopak modelují pojmy rozmanitosti, informací a pokrytí. Další informace o aplikacích submodularity, zejména ve strojovém učení, viz

Viz také

• Supermodulární funkce
• Matroid , Polymatroid
• Úžitkové funkce na nedělitelném zboží

Citace

Reference

• Schrijver, Alexander (2003), Combinatorial Optimization , Springer , ISBN   3-540-44389-4
• Lee, Jon (2004), První kurz kombinatorické optimalizace , Cambridge University Press , ISBN   0-521-01012-8
• Fujishige, Satoru (2005), Submodular Functions and Optimization , Elsevier , ISBN   0-444-52086-4
• Narayanan, H. (1997), Submodular Functions and Electrical Networks , ISBN   0-444-82523-1
• Oxley, James G. (1992), Matroid theory , Oxford Science Publications, Oxford: Oxford University Press , ISBN   0-19-853563-5 , Zbl   0784.05002

externí odkazy

• http://www.cs.berkeley.edu/~stefje/references.html má delší bibliografii