Computação de muitas tarefas - Many-task computing

A computação de muitas tarefas ( MTC ) em ciência da computação é uma abordagem à computação paralela que visa preencher a lacuna entre dois paradigmas de computação : computação de alto rendimento (HTC) e computação de alto desempenho (HPC).

Definição

MTC é uma reminiscência de HTC, mas "difere na ênfase de usar muitos recursos de computação em curtos períodos de tempo para realizar muitas tarefas computacionais (ou seja, incluindo tarefas dependentes e independentes), onde as métricas primárias são medidas em segundos (por exemplo, FLOPS, tarefas / s, taxas de E / S de MB / s), em oposição às operações (por exemplo, trabalhos) por mês. MTC denota cálculos de alto desempenho que abrangem várias atividades distintas, acopladas por meio de operações do sistema de arquivos. As tarefas podem ser pequenas ou grandes, uniprocessador ou multiprocessador, de computação intensiva ou de dados intensivos . O conjunto de tarefas pode ser estático ou dinâmico, homogêneo ou heterogêneo, fracamente acoplado ou fortemente acoplado. O número agregado de tarefas, quantidade de computação e volumes de dados podem ser extremamente grandes. MTC inclui aplicativos fracamente acoplados que geralmente exigem muita comunicação, mas não são expressos naturalmente usando a interface de transmissão de mensagens padrão comumente encontrada em HPC, chamando a atenção para os muitos cálculos que são h eterogêneo, mas não "felizmente" paralelo.

Raicu et al. Além disso, afirmam: "Há mais para HPC do que MPI fortemente acoplado, e mais para HTC do que trabalhos de longa execução embaraçosamente paralelos . Como os aplicativos HPC e a própria ciência, os aplicativos estão se tornando cada vez mais complexos, abrindo novas portas para muitas oportunidades de aplicar HPC de novas maneiras se ampliarmos nossa perspectiva. Alguns aplicativos têm tantas tarefas simples que é difícil gerenciá-los. Os aplicativos que operam ou produzem grandes quantidades de dados precisam de um gerenciamento de dados sofisticado para escalar. Existem aplicativos que envolvem muitas tarefas, cada uma composta por tarefas MPI fortemente acopladas. Aplicativos fracamente acoplados geralmente têm dependências entre as tarefas e normalmente usam arquivos para comunicação entre processos. O suporte eficiente para esses tipos de aplicativos em sistemas existentes de grande escala envolverá desafios técnicos substanciais e terá grande impacto na ciência. "

Áreas Relacionadas

Algumas áreas relacionadas são dados múltiplos de programas múltiplos (MPMD), computação de alto rendimento (HTC), fluxos de trabalho, computação de capacidade ou embaraçosamente paralelo . Alguns projetos que podem suportar cargas de trabalho MTC são Condor , Mapreduce , Hadoop , Boinc , Cobalt HTC-mode, Falkon e Swift .,

Referências