Submodulær settfunksjon - Submodular set function

I matematikk, et submodular sett funksjon (også kjent som en submodular funksjon ) er et sett funksjon som har en verdi en, vanligvis, har den egenskapen at forskjellen i den trinnvise verdien av funksjonen som et enkelt element gjør at når den tilsettes til en inngang sett avtar når størrelsen på inngangssettet øker. Submodulære funksjoner har en naturlig redusert returegenskap som gjør dem egnet for mange applikasjoner, inkludert tilnærmelsesalgoritmer , spillteori (som funksjoner som modellerer brukerpreferanser) og elektriske nettverk . Nylig har submodulære funksjoner også funnet enorm nytteverdi i flere virkelige verdensproblemer innen maskinlæring og kunstig intelligens , inkludert automatisk oppsummering , flerdokumentoppsummering , funksjonsvalg , aktiv læring , sensorplassering, oppsummering av bildesamling og mange andre domener.

Definisjon

Dersom er et begrenset sett , er en funksjon submodular et sett funksjon , hvor betegner den kraft settet av , som tilfredsstiller en av de følgende ekvivalente betingelser. ${\ displaystyle \ Omega}$${\ displaystyle f: 2 ^ {\ Omega} \ rightarrow \ mathbb {R}}$${\ displaystyle 2 ^ {\ Omega}}$${\ displaystyle \ Omega}$

1. For alle med og alle har vi det . ${\ displaystyle X, Y \ subseteq \ Omega}$${\ displaystyle X \ subseteq Y}$${\ displaystyle x \ in \ Omega \ setminus Y}$${\ displaystyle f (X \ cup \ {x \}) - f (X) \ geq f (Y \ cup \ {x \}) - f (Y)}$
2. For hver har vi det . ${\ displaystyle S, T \ subseteq \ Omega}$${\ displaystyle f (S) + f (T) \ geq f (S \ cup T) + f (S \ cap T)}$
3. For hver og en slik at vi har det . ${\ displaystyle X \ subseteq \ Omega}$${\ displaystyle x_ {1}, x_ {2} \ in \ Omega \ backslash X}$${\ displaystyle x_ {1} \ neq x_ {2}}$${\ displaystyle f (X \ cup \ {x_ {1} \}) + f (X \ cup \ {x_ {2} \}) \ geq f (X \ cup \ {x_ {1}, x_ {2} \}) + f (X)}$

En ikke-negativ submodulær funksjon er også en subadditiv funksjon, men en subadditiv funksjon trenger ikke å være submodulær. Hvis ikke antas å være endelig, er ikke ovenstående betingelser ekvivalente. Spesielt en funksjon definert av if er endelig og if er uendelig tilfredsstiller den første betingelsen ovenfor, men den andre tilstanden mislykkes når og er uendelige sett med endelig skjæringspunkt. ${\ displaystyle \ Omega}$${\ displaystyle f}$${\ displaystyle f (S) = 1}$${\ displaystyle S}$${\ displaystyle f (S) = 0}$${\ displaystyle S}$${\ displaystyle S}$${\ displaystyle T}$

Typer submodulære funksjoner

Monotone

En submodulær funksjon er monotone hvis vi for det har det . Eksempler på monotone submodulære funksjoner inkluderer: ${\ displaystyle f}$${\ displaystyle T \ subseteq S}$${\ displaystyle f (T) \ leq f (S)}$

Lineære (modulære) funksjoner

Enhver funksjon av skjemaet kalles en lineær funksjon. I tillegg, hvis da er f monoton. ${\ displaystyle f (S) = \ sum _ {i \ in S} w_ {i}}$${\ displaystyle \ forall i, w_ {i} \ geq 0}$

Budsjettadditivfunksjoner

Enhver funksjon av skjemaet for hver og kalles budsjettadditiv. ${\ displaystyle f (S) = \ min \ left \ {B, ~ \ sum _ {i \ in S} w_ {i} \ right \}}$${\ displaystyle w_ {i} \ geq 0}$${\ displaystyle B \ geq 0}$

Dekningsfunksjoner

La være en samling av delmengder av noe bakkesett . Funksjonen for kalles en dekningsfunksjon. Dette kan generaliseres ved å legge til ikke-negative vekter til elementene. ${\ displaystyle \ Omega = \ {E_ {1}, E_ {2}, \ ldots, E_ {n} \}}$ ${\ displaystyle \ Omega '}$${\ displaystyle f (S) = \ left | \ bigcup _ {E_ {i} \ in S} E_ {i} \ right |}$${\ displaystyle S \ subseteq \ Omega}$

Entropi

La være et sett med tilfeldige variabler . Så for alle vi har som er en submodulær funksjon, hvor er entropien til settet med tilfeldige variabler , et faktum kjent som Shannons ulikhet . Ytterligere ulikheter for entropifunksjonen er kjent for å holde, se entropisk vektor . ${\ displaystyle \ Omega = \ {X_ {1}, X_ {2}, \ ldots, X_ {n} \}}$${\ displaystyle S \ subseteq \ Omega}$${\ displaystyle H (S)}$${\ displaystyle H (S)}$${\ displaystyle S}$

Matroid rang funksjoner

La være bakken som en matroid er definert på. Da er rangfunksjonen til matroid en submodulær funksjon. ${\ displaystyle \ Omega = \ {e_ {1}, e_ {2}, \ prikker, e_ {n} \}}$

Ikke-monoton

En submodulær funksjon som ikke er monoton kalles ikke-monoton .

Symmetrisk

En ikke-monoton submodulær funksjon kalles symmetrisk hvis vi har det . Eksempler på symmetriske ikke-monotone submodulære funksjoner inkluderer: ${\ displaystyle f}$${\ displaystyle S \ subseteq \ Omega}$${\ displaystyle f (S) = f (\ Omega -S)}$

Graf kutter

La være hjørnene i en graf . For et sett med noder la betegne antall kanter slik at og . Dette kan generaliseres ved å legge til ikke-negative vekter i kantene. ${\ displaystyle \ Omega = \ {v_ {1}, v_ {2}, \ prikker, v_ {n} \}}$${\ displaystyle S \ subseteq \ Omega}$${\ displaystyle f (S)}$${\ displaystyle e = (u, v)}$${\ displaystyle u \ in S}$${\ displaystyle v \ in \ Omega -S}$

Gjensidig informasjon

La være et sett med tilfeldige variabler . Så for alle vi har som er en submodulær funksjon, hvor er den gjensidige informasjonen. ${\ displaystyle \ Omega = \ {X_ {1}, X_ {2}, \ ldots, X_ {n} \}}$${\ displaystyle S \ subseteq \ Omega}$${\ displaystyle f (S) = I (S; \ Omega -S)}$${\ displaystyle I (S; \ Omega -S)}$

Asymmetrisk

En ikke-monoton submodulær funksjon som ikke er symmetrisk kalles asymmetrisk.

Regisserte kutt

La være hjørnene i en rettet graf . For et sett med noder la betegne antall kanter slik at og . Dette kan generaliseres ved å legge til ikke-negative vekter til de rettet kantene. ${\ displaystyle \ Omega = \ {v_ {1}, v_ {2}, \ prikker, v_ {n} \}}$${\ displaystyle S \ subseteq \ Omega}$${\ displaystyle f (S)}$${\ displaystyle e = (u, v)}$${\ displaystyle u \ in S}$${\ displaystyle v \ in \ Omega -S}$

Kontinuerlige utvidelser

Lovász-utvidelse

Denne utvidelsen er oppkalt etter matematiker László Lovász . Tenk på en hvilken som helst vektor slik at hver . Deretter defineres Lovász-utvidelsen som hvor forventningen er over valgt fra den ensartede fordelingen på intervallet . Lovász-utvidelsen er en konveks funksjon hvis og bare hvis er en submodulær funksjon. ${\ displaystyle \ mathbf {x} = \ {x_ {1}, x_ {2}, \ prikker, x_ {n} \}}$${\ displaystyle 0 \ leq x_ {i} \ leq 1}$${\ displaystyle f ^ {L} (\ mathbf {x}) = \ mathbb {E} (f (\ {i | x_ {i} \ geq \ lambda \}))}$${\ displaystyle \ lambda}$${\ displaystyle [0,1]}$${\ displaystyle f}$

Multilinær utvidelse

Tenk på en hvilken som helst vektor slik at hver . Deretter er den flerlinjære utvidelsen definert som . ${\ displaystyle \ mathbf {x} = \ {x_ {1}, x_ {2}, \ ldots, x_ {n} \}}$${\ displaystyle 0 \ leq x_ {i} \ leq 1}$${\ displaystyle F (\ mathbf {x}) = \ sum _ {S \ subseteq \ Omega} f (S) \ prod _ {i \ in S} x_ {i} \ prod _ {i \ notin S} (1 -x_ {i})}$

Konveks lukking

Tenk på en hvilken som helst vektor slik at hver . Deretter er den konvekse lukkingen definert som . Den konvekse lukkingen av en hvilken som helst angitt funksjon er konveks over . Det kan vises at for submodulære funksjoner. ${\ displaystyle \ mathbf {x} = \ {x_ {1}, x_ {2}, \ prikker, x_ {n} \}}$${\ displaystyle 0 \ leq x_ {i} \ leq 1}$${\ displaystyle f ^ {-} (\ mathbf {x}) = \ min \ left (\ sum _ {S} \ alpha _ {S} f (S): \ sum _ {S} \ alpha _ {S} 1_ {S} = \ mathbf {x}, \ sum _ {S} \ alpha _ {S} = 1, \ alpha _ {S} \ geq 0 \ right)}$${\ displaystyle [0,1] ^ {n}}$${\ displaystyle f ^ {L} (\ mathbf {x}) = f ^ {-} (\ mathbf {x})}$

Konkav lukking

Tenk på en hvilken som helst vektor slik at hver . Deretter defineres den konkave lukkingen som . ${\ displaystyle \ mathbf {x} = \ {x_ {1}, x_ {2}, \ prikker, x_ {n} \}}$${\ displaystyle 0 \ leq x_ {i} \ leq 1}$${\ displaystyle f ^ {+} (\ mathbf {x}) = \ max \ left (\ sum _ {S} \ alpha _ {S} f (S): \ sum _ {S} \ alpha _ {S} 1_ {S} = \ mathbf {x}, \ sum _ {S} \ alpha _ {S} = 1, \ alpha _ {S} \ geq 0 \ right)}$

Eiendommer

1. Klassen av submodulære funksjoner er lukket under ikke-negative lineære kombinasjoner . Vurder eventuelle submodulære funksjoner og ikke-negative tall . Da er funksjonen definert av submodulær. ${\ displaystyle f_ {1}, f_ {2}, \ ldots, f_ {k}}$${\ displaystyle \ alpha _ {1}, \ alpha _ {2}, \ ldots, \ alpha _ {k}}$${\ displaystyle g}$${\ displaystyle g (S) = \ sum _ {i = 1} ^ {k} \ alpha _ {i} f_ {i} (S)}$
2. For enhver submodulær funksjon er funksjonen definert av submodulær. ${\ displaystyle f}$${\ displaystyle g (S) = f (\ Omega \ setminus S)}$
3. Funksjonen , hvor er et reelt tall, er submodulært når det er monotone submodulært. Mer generelt, er submodulær, for ikke-avtagende konkav funksjon . ${\ displaystyle g (S) = \ min (f (S), c)}$${\ displaystyle c}$${\ displaystyle f}$${\ displaystyle g (S) = h (f (S))}$${\ displaystyle h}$
4. Vurder en tilfeldig prosess der et sett er valgt med hvert element for å bli inkludert i uavhengig med sannsynlighet . Så er følgende ulikhet sant hvor er det tomme settet. Mer generelt vurdere følgende tilfeldige prosess der et sett er konstruert som følger. For hver konstruksjon ved å inkludere hvert element uavhengig inn med sannsynlighet . Videre la . Da er følgende ulikhet sant . ${\ displaystyle T}$${\ displaystyle \ Omega}$${\ displaystyle T}$${\ displaystyle p}$${\ displaystyle \ mathbb {E} [f (T)] \ geq pf (\ Omega) + (1-p) f (\ varnothing)}$${\ displaystyle \ varnothing}$${\ displaystyle S}$${\ displaystyle 1 \ leq i \ leq l, A_ {i} \ subseteq \ Omega}$${\ displaystyle S_ {i}}$${\ displaystyle A_ {i}}$${\ displaystyle S_ {i}}$${\ displaystyle p_ {i}}$${\ displaystyle S = \ cup _ {i = 1} ^ {l} S_ {i}}$${\ displaystyle \ mathbb {E} [f (S)] \ geq \ sum _ {R \ subseteq [l]} \ Pi _ {i \ in R} p_ {i} \ Pi _ {i \ notin R} ( 1-p_ {i}) f (\ cup _ {i \ in R} A_ {i})}$

Optimaliseringsproblemer

Submodulære funksjoner har egenskaper som ligner veldig på konvekse og konkave funksjoner . Av denne grunn kan et optimaliseringsproblem som gjelder optimalisering av en konveks eller konkav funksjon også beskrives som problemet med å maksimere eller minimere en submodulær funksjon underlagt noen begrensninger.

Submodulært sett funksjonsminimering

Det enkleste minimeringsproblemet er å finne et sett som minimerer en submodulær funksjon; dette er det ubegrensede problemet. Dette problemet kan beregnes på (sterkt) polynomisk tid . Å beregne minimumskuttet i en graf er et spesielt tilfelle av dette generelle minimeringsproblemet. Imidlertid legger til og med en enkel begrensning som en kardinalitet nedre grense, minimeringsproblemet NP vanskelig , med polynomfaktor lavere grenser på tilnærmelsesfaktoren. ${\ displaystyle S \ subseteq \ Omega}$

Submodulært sett funksjonsmaksimering

I motsetning til tilfellet med minimering, er maksimering av submodulære funksjoner NP-vanskelig selv i ubegrensede omgivelser. Teori og oppregningsalgoritmer for å finne lokale og globale maksima (minima) av submodulære (supermodulære) funksjoner finnes i B. Goldengorin. European Journal of Operational Research 198 (1): 102-112, DOI: 10.1016 / j.ejor.2008.08.022. For eksempel er maks kutt et spesielt tilfelle selv når funksjonen bare kreves for å være ikke-negativ. Det ubegrensede problemet kan vises å være utilnærmelig hvis det får være negativt. Det har vært omfattende arbeid med begrenset submodulær funksjonsmaksimering når funksjonene er ikke-negative. Vanligvis er tilnærmelsesalgoritmene for disse problemene basert på enten grådige algoritmer eller lokale søkealgoritmer . Problemet med å maksimere en ikke-negativ symmetrisk submodulær funksjon innrømmer en 1/2 tilnærmelsesalgoritme. Å beregne maksimal kutt i en graf er et spesielt tilfelle av dette problemet. Det mer generelle problemet med å maksimere en ikke-negativ submodulær funksjon tillater også en 1/2 tilnærmelsesalgoritme. Problemet med å maksimere en monoton submodulær funksjon underlagt en kardinalitetsbegrensning, innrømmer en tilnærmelsesalgoritme. Det maksimale dekkingsproblemet er et spesielt tilfelle av dette problemet. Det mer generelle problemet med å maksimere en monotone submodulær funksjon underlagt en matroid- begrensning, innrømmer også en tilnærmelsesalgoritme. Mange av disse algoritmene kan forenes innenfor et semi-differensialbasert rammeverk av algoritmer. ${\ displaystyle 1-1 / e}$${\ displaystyle 1-1 / e}$

Relaterte optimaliseringsproblemer

Bortsett fra submodulær minimering og maksimering, er et annet naturlig problem Difference of Submodular Optimization. Dessverre er dette problemet ikke bare NP vanskelig, men også utilnærmelig. Et beslektet optimaliseringsproblem er å minimere eller maksimere en submodulær funksjon, underlagt en submodulær nivå satt begrensning (også kalt submodular optimalisering underlagt submodular cover eller submodular ryggsekk begrensning). Dette problemet innrømmer begrensede tilnærmingsgarantier. Et annet optimaliseringsproblem innebærer partisjonering av data basert på en submodulær funksjon, for å maksimere gjennomsnittlig velferd. Dette problemet kalles det submodulære velferdsproblemet.

applikasjoner

Submodulære funksjoner forekommer naturlig i flere virkelige applikasjoner, innen økonomi , spillteori , maskinlæring og datasyn . På grunn av den reduserende avkastningsegenskapen, modellerer submodulære naturligvis kostnadene for varene, siden det ofte er en større rabatt, med en økning i varene man kjøper. Submodulære funksjoner modeller forestillinger om kompleksitet, likhet og samarbeid når de vises i minimeringsproblemer. I maksimeringsproblemer modellerer de derimot forestillinger om mangfold, informasjon og dekning. For mer informasjon om anvendelser av submodularitet, spesielt innen maskinlæring, se

Se også

• Supermodulær funksjon
• Matroid , Polymatroid
• Verktøy fungerer på udelelige varer

Sitater

Referanser

• Schrijver, Alexander (2003), Combinatorial Optimization , Springer , ISBN   3-540-44389-4
• Lee, Jon (2004), A First Course in Combinatorial Optimization , Cambridge University Press , ISBN   0-521-01012-8
• Fujishige, Satoru (2005), Submodular Functions and Optimization , Elsevier , ISBN   0-444-52086-4
• Narayanan, H. (1997), Submodular Functions and Electrical Networks , ISBN   0-444-82523-1
• Oxley, James G. (1992), Matroid teori , Oxford Science Publications, Oxford: Oxford University Press , ISBN   0-19-853563-5 , Zbl   0784.05002

Eksterne linker

• http://www.cs.berkeley.edu/~stefje/references.html har en lengre bibliografi