GPFS - GPFS
| Desenvolvedor (s) | IBM |
|---|---|
| Nome completo | IBM Spectrum Scale |
| Introduzido | 1998 com AIX |
| Limites | |
| Máx. tamanho do volume | 8 YB |
| Máx. tamanho do arquivo | 8 EB |
| Máx. número de arquivos | 2 64 por sistema de arquivos |
| Recursos | |
| Permissões do sistema de arquivos | POSIX |
| Criptografia transparente | sim |
| Outro | |
| Sistemas operacionais suportados | AIX , Linux , Windows Server |
GPFS ( General Parallel File System , marca IBM Spectrum Scale ) é um software de sistema de arquivos em cluster de alto desempenho desenvolvido pela IBM . Ele pode ser implantado em modos paralelos distribuídos de disco compartilhado ou sem compartilhamento , ou uma combinação deles. É usado por muitas das maiores empresas comerciais do mundo, bem como por alguns dos supercomputadores da lista dos 500 melhores . Por exemplo, é o sistema de arquivos do Summit at Oak Ridge National Laboratory que foi o supercomputador mais rápido do mundo na lista dos 500 melhores supercomputadores de novembro de 2019. Summit é um sistema de 200 Petaflops composto por mais de 9.000 microprocessadores IBM POWER e 27.000 GPUs NVIDIA Volta . O sistema de arquivos de armazenamento denominado Alpine tem 250 PB de armazenamento usando Spectrum Scale no hardware de armazenamento IBM ESS, com capacidade de aproximadamente 2,5 TB / s de E / S sequencial e 2,2 TB / s de E / S aleatória.
Como sistemas de arquivos de cluster típicos, o GPFS fornece acesso simultâneo a arquivos de alta velocidade para aplicativos em execução em vários nós de clusters. Ele pode ser usado com clusters AIX , clusters Linux , no Microsoft Windows Server ou um cluster heterogêneo de nós AIX, Linux e Windows em execução em arquiteturas de processador x86 , POWER ou IBM Z. Além de fornecer recursos de armazenamento do sistema de arquivos, ele fornece ferramentas para gerenciamento e administração do cluster GPFS e permite o acesso compartilhado aos sistemas de arquivos de clusters remotos.
História
O GPFS começou como o sistema de arquivos Tiger Shark , um projeto de pesquisa no IBM's Almaden Research Center já em 1993. Tiger Shark foi inicialmente projetado para oferecer suporte a aplicativos de multimídia de alto rendimento. Este design acabou por ser adequado para a computação científica.
Outro ancestral é o sistema de arquivos Vesta da IBM , desenvolvido como um projeto de pesquisa no Thomas J. Watson Research Center da IBM entre 1992 e 1995. Vesta introduziu o conceito de particionamento de arquivo para acomodar as necessidades de aplicativos paralelos que rodam em multicomputadores de alto desempenho com I / paralelo O subsistemas. Com o particionamento, um arquivo não é uma sequência de bytes, mas várias sequências disjuntas que podem ser acessadas em paralelo. O particionamento é tal que abstrai o número e tipo de nós de E / S que hospedam o sistema de arquivos e permite uma variedade de visualizações particionadas logicamente de arquivos, independentemente da distribuição física dos dados dentro dos nós de E / S. As sequências disjuntas são organizadas para corresponder aos processos individuais de um aplicativo paralelo, permitindo uma escalabilidade aprimorada.
O Vesta foi comercializado como o sistema de arquivos PIOFS por volta de 1994, e foi sucedido pelo GPFS por volta de 1998. A principal diferença entre os sistemas de arquivos mais antigos e mais novos era que o GPFS substituiu a interface especializada oferecida pelo Vesta / PIOFS pela API Unix padrão : todos os recursos para suportar E / S paralelas de alto desempenho foram ocultadas dos usuários e implementadas nos bastidores.
O GPFS está disponível no AIX da IBM desde 1998, no Linux desde 2001 e no Windows Server desde 2008.
Hoje, ele é usado por muitos dos 500 melhores supercomputadores listados na lista dos 500 melhores supercomputadores. Desde o início, ele foi implantado com sucesso para muitos aplicativos comerciais, incluindo mídia digital, análise de grade e serviços de arquivo escalonáveis.
Em 2010, a IBM apresentou uma versão do GPFS que incluía um recurso conhecido como GPFS-SNC, onde SNC significa Shared Nothing Cluster. Ele foi lançado oficialmente com o GPFS 3.5 em dezembro de 2012 e agora é conhecido como FPO (File Placement Optimizer). Isso permite que ele use discos conectados localmente em um cluster de servidores conectados à rede, em vez de exigir servidores dedicados com discos compartilhados (por exemplo, usando uma SAN). O FPO é adequado para cargas de trabalho com alta localidade de dados, como clusters de banco de dados sem compartilhamento, como SAP HANA e DB2 DPF, e pode ser usado como um sistema de arquivos compatível com HDFS .
Arquitetura
É um sistema de arquivos em cluster . Ele divide um arquivo em blocos de tamanho configurado, com menos de 1 megabyte cada, que são distribuídos em vários nós do cluster.
O sistema armazena dados em volumes de armazenamento em bloco padrão, mas inclui uma camada RAID interna que pode virtualizar esses volumes para redundância e acesso paralelo, como um sistema de armazenamento em bloco RAID. Ele também tem a capacidade de replicar entre os volumes no nível de arquivo mais alto.
As características da arquitetura incluem
- Metadados distribuídos, incluindo a árvore de diretórios. Não há um único "controlador de diretório" ou "servidor de indexação" responsável pelo sistema de arquivos.
- Indexação eficiente de entradas de diretório para diretórios muito grandes.
- Bloqueio distribuído. Isso permite a semântica completa do sistema de arquivos POSIX , incluindo bloqueio para acesso exclusivo a arquivos.
- Partition Aware. Uma falha na rede pode particionar o sistema de arquivos em dois ou mais grupos de nós que só podem ver os nós de seu grupo. Isso pode ser detectado por meio de um protocolo de pulsação e, quando ocorre uma partição, o sistema de arquivos permanece ativo para a maior partição formada. Isso oferece uma degradação harmoniosa do sistema de arquivos - algumas máquinas continuarão funcionando.
- A manutenção do sistema de arquivos pode ser realizada online. A maioria das tarefas de manutenção do sistema de arquivos (adicionar novos discos, rebalancear dados entre os discos) pode ser realizada enquanto o sistema de arquivos está ativo. Isso garante que o sistema de arquivos esteja disponível com mais frequência, portanto, mantém o próprio cluster do supercomputador disponível por mais tempo.
Outros recursos incluem alta disponibilidade, capacidade de ser usado em um cluster heterogêneo, recuperação de desastres, segurança, DMAPI , HSM e ILM .
Comparado com o Hadoop Distributed File System (HDFS)
O sistema de arquivos HDFS do Hadoop foi projetado para armazenar quantidades semelhantes ou maiores de dados em hardware comum - ou seja, datacenters sem discos RAID e uma rede de área de armazenamento (SAN).
- O HDFS também divide os arquivos em blocos e os armazena em diferentes nós do sistema de arquivos.
- GPFS tem semântica de sistema de arquivos Posix completa.
- O GPFS distribui seus índices de diretório e outros metadados no sistema de arquivos. O Hadoop, em contraste, mantém isso nos Namenodes primário e secundário, grandes servidores que devem armazenar todas as informações de índice na RAM.
- O GPFS divide os arquivos em pequenos blocos. O Hadoop HDFS gosta de blocos de 64 MB ou mais, pois isso reduz os requisitos de armazenamento do Namenode. Pequenos blocos ou muitos arquivos pequenos preenchem os índices de um sistema de arquivos rapidamente, portanto, limite o tamanho do sistema de arquivos.
Gestão do ciclo de vida da informação
Os pools de armazenamento permitem o agrupamento de discos em um sistema de arquivos. Um administrador pode criar camadas de armazenamento agrupando discos com base nas características de desempenho, localidade ou confiabilidade. Por exemplo, um pool pode ser discos Fibre Channel de alto desempenho e outro armazenamento SATA mais econômico.
Um conjunto de arquivos é uma subárvore do namespace do sistema de arquivos e fornece uma maneira de particionar o namespace em unidades menores e mais gerenciáveis. Os conjuntos de arquivos fornecem um limite administrativo que pode ser usado para definir cotas e ser especificado em uma política para controlar o posicionamento inicial de dados ou a migração de dados. Os dados em um único conjunto de arquivos podem residir em um ou mais pools de armazenamento. Onde os dados do arquivo residem e como eles são migrados é baseado em um conjunto de regras em uma política definida pelo usuário.
Existem dois tipos de políticas definidas pelo usuário: posicionamento e gerenciamento de arquivos. As políticas de posicionamento de arquivo direcionam os dados do arquivo à medida que os arquivos são criados para o pool de armazenamento apropriado. As regras de posicionamento de arquivos são selecionadas por atributos como o nome do arquivo, o nome do usuário ou o conjunto de arquivos. As políticas de gerenciamento de arquivos permitem que os dados do arquivo sejam movidos ou replicados ou que os arquivos sejam excluídos. As políticas de gerenciamento de arquivos podem ser usadas para mover dados de um pool para outro sem alterar a localização do arquivo na estrutura de diretório. As políticas de gerenciamento de arquivos são determinadas pelos atributos do arquivo, como hora do último acesso, nome do caminho ou tamanho do arquivo.
O mecanismo de processamento de política é escalonável e pode ser executado em vários nós ao mesmo tempo. Isso permite que as políticas de gerenciamento sejam aplicadas a um único sistema de arquivos com bilhões de arquivos e concluídas em poucas horas.
