Mange-oppgaver databehandling - Many-task computing
Mange-oppgave databehandling ( MTC ) i beregningsvitenskap er en tilnærming til parallell databehandling som tar sikte på å bygge bro over gapet mellom to databehandlingsparadigmer : høy gjennomstrømning (HTC) og høy ytelse databehandling (HPC).
Definisjon
MTC minner om HTC, men det "skiller seg ut i vekt på å bruke mange databehandlingsressurser over korte perioder for å utføre mange beregningsoppgaver (dvs. inkludert både avhengige og uavhengige oppgaver), der de primære beregningene måles i sekunder (f.eks. FLOPS, oppgaver / s, MB / s I / O-priser), i motsetning til operasjoner (f.eks. jobber) per måned. MTC betegner høyytelsesberegninger som består av flere forskjellige aktiviteter, koblet via filsystemoperasjoner. Oppgaver kan være små eller store, prosessor eller multiprosessor, beregningskrevende eller datakrevende . Oppgavesettet kan være statisk eller dynamisk, homogent eller heterogent, løst koblet eller tett sammenkoblet. Det samlede antall oppgaver, datamengde og datamengder kan være ekstremt stort. MTC inkluderer løst koblede applikasjoner som generelt er kommunikasjonskrevende, men ikke naturlig uttrykt ved hjelp av standard grensesnitt for meldingsoverføring som ofte finnes i HPC, og gjør oppmerksom på de mange beregningene som er eterogen men ikke "lykkelig" parallell.
Raicu et al. videre tilstand: "Det er mer med HPC enn tett sammenkoblet MPI, og mer til HTC enn pinlig parallelle, langvarige jobber. I likhet med HPC-applikasjoner og vitenskapen i seg selv blir applikasjoner stadig mer komplekse og åpner nye dører for mange muligheter for å bruke HPC på nye måter hvis vi utvider vårt perspektiv. Noen applikasjoner har bare så mange enkle oppgaver at det er vanskelig å administrere dem. Programmer som opererer på eller produserer store datamengder trenger sofistikert datahåndtering for å skalere. Det finnes applikasjoner som involverer mange oppgaver, hver sammensatt av tettkoblede MPI-oppgaver. Løstkoblede applikasjoner har ofte avhengighet blant oppgaver, og bruker vanligvis filer for kommunikasjon mellom prosesser. Effektiv støtte for denne typen applikasjoner på eksisterende storskalasystemer vil innebære betydelige tekniske utfordringer og vil ha stor innvirkning på vitenskapen. "
Beslektede områder
Noen relaterte områder er multiple program multiple data (MPMD), databehandling med høy gjennomstrømning (HTC), arbeidsflyter, kapasitetsberegning eller pinlig parallell . Noen prosjekter som kan støtte MTC-arbeidsbelastninger er Condor , Mapreduce , Hadoop , Boinc , Cobalt HTC-mode, Falkon og Swift .,
