Vielaufgaben-Computing - Many-task computing
Many-Task-Computing ( MTC ) in der Computerwissenschaft ist ein Ansatz für paralleles Computing , der darauf abzielt, die Lücke zwischen zwei Computerparadigmen zu schließen : Hochdurchsatz-Computing (HTC) und Hochleistungs-Computing (HPC).
Definition
MTC erinnert an HTC, unterscheidet sich jedoch darin, dass viele Rechenressourcen über kurze Zeiträume verwendet werden, um viele Rechenaufgaben zu erledigen (dh sowohl abhängige als auch unabhängige Aufgaben), bei denen die primären Metriken in Sekunden gemessen werden (z. B. FLOPS, Aufgaben / s, MB / s E / A-Raten) im Gegensatz zu Vorgängen (z. B. Jobs) pro Monat. MTC bezeichnet Hochleistungsberechnungen, die mehrere unterschiedliche Aktivitäten umfassen, die über Dateisystemvorgänge gekoppelt sind. Aufgaben können klein oder groß sein, Uniprozessor oder Multiprozessor, rechenintensiv oder datenintensiv . Der Aufgabensatz kann statisch oder dynamisch, homogen oder heterogen, lose oder eng gekoppelt sein. Die Gesamtzahl der Aufgaben, die Rechenmenge und das Datenvolumen können extrem groß sein. MTC umfasst lose gekoppelte Anwendungen, die im Allgemeinen kommunikationsintensiv sind, aber nicht auf natürliche Weise unter Verwendung der in HPC üblichen Standard-Nachrichtenübermittlungsschnittstelle ausgedrückt werden, wodurch die Aufmerksamkeit auf die vielen Berechnungen gelenkt wird, die h sind eterogen aber nicht "glücklich" parallel ".
Raicu et al. Weiterer Status: "HPC bietet mehr als eng gekoppeltes MPI und HTC mehr als peinlich parallele Langzeitjobs. Wie HPC-Anwendungen und die Wissenschaft selbst werden Anwendungen immer komplexer und eröffnen neue Möglichkeiten für die Anwendung von HPC auf neue Weise Wenn wir unsere Perspektive erweitern: Einige Anwendungen haben nur so viele einfache Aufgaben, dass ihre Verwaltung schwierig ist. Anwendungen, die mit großen Datenmengen arbeiten oder diese produzieren, benötigen eine ausgefeilte Datenverwaltung, um skaliert zu werden. Es gibt Anwendungen, die viele Aufgaben umfassen, aus denen jede besteht Eng gekoppelte MPI-Aufgaben. Locker gekoppelte Anwendungen hängen häufig von den Aufgaben ab und verwenden normalerweise Dateien für die Kommunikation zwischen Prozessen. Eine effiziente Unterstützung dieser Art von Anwendungen auf vorhandenen Großsystemen ist mit erheblichen technischen Herausforderungen verbunden und hat große Auswirkungen auf die Wissenschaft. "
Verwandte Bereiche
Einige verwandte Bereiche sind MPMD (Multiple Program Multiple Data), HTC (High Throughput Computing), Workflows, Capacity Computing oder peinlich parallel . Einige Projekte, die MTC-Workloads unterstützen könnten, sind Condor , Mapreduce , Hadoop , Boinc , Cobalt HTC-Modus, Falkon und Swift .
