Många uppgifter - Many-task computing

Många uppgiftsberäkningar ( MTC ) inom beräkningsvetenskap är ett tillvägagångssätt för parallell beräkning som syftar till att överbrygga klyftan mellan två dataparadigmer : högkapacitetsberäkning (HTC) och högpresterande beräkning (HPC).

Definition

MTC påminner om HTC, men det "skiljer sig åt i betoning av att använda många datorresurser över korta tidsperioder för att utföra många beräkningsuppgifter (dvs inklusive både beroende och oberoende uppgifter), där de primära mätvärdena mäts i sekunder (t.ex. FLOPS, uppgifter / s, MB / s I / O-priser), i motsats till operationer (t.ex. jobb) per månad. MTC betecknar högpresterande beräkningar som omfattar flera olika aktiviteter, kopplade via filsystemoperationer. Uppgifterna kan vara små eller stora, uniprocessor eller multiprocessor, beräkningsintensiv eller datakrävande . Uppsättningen av uppgifter kan vara statisk eller dynamisk, homogen eller heterogen, löst kopplad eller tätt kopplad. Det totala antalet uppgifter, antal datorer och datamängder kan vara extremt stort. MTC inkluderar löst kopplade applikationer som i allmänhet är kommunikationskrävande men inte naturligt uttrycks med hjälp av ett standardmeddelandeöverföringsgränssnitt som vanligtvis finns i HPC, och uppmärksammar de många beräkningar som är h eterogent men inte "lyckligt" parallellt.

Raicu et al. ytterligare tillstånd: "Det finns mer till HPC än tätt kopplat MPI, och mer till HTC än pinsamt parallella långvariga jobb. Liksom HPC-applikationer och vetenskapen i sig blir applikationer alltmer komplexa och öppnar nya dörrar för många möjligheter att tillämpa HPC på nya sätt om vi vidgar vårt perspektiv. Vissa applikationer har bara så många enkla uppgifter att hantera dem är svåra. Applikationer som fungerar eller producerar stora mängder data behöver sofistikerad datahantering för att skala. Det finns applikationer som involverar många uppgifter, var och en består av tätt kopplade MPI-uppgifter. Löst kopplade applikationer har ofta beroenden mellan uppgifter och använder vanligtvis filer för kommunikation mellan processer. Effektivt stöd för denna typ av applikationer på befintliga storskaliga system kommer att innebära stora tekniska utmaningar och kommer att ha stor inverkan på vetenskapen. "

Relaterade områden

Vissa relaterade områden är MPMD (Multiple Program Multiple Data), dator med hög kapacitet (HTC), arbetsflöden, kapacitetsberäkning eller pinsamt parallellt . Några projekt som kan stödja MTC-arbetsbelastningar är Condor , Mapreduce , Hadoop , Boinc , Cobalt HTC-mode, Falkon och Swift .,

Referenser