IBM General Parallel File System
General Parallel File System ( GPFS ) é um sistema de arquivos em cluster da IBM . Surgiu de vários projetos de pesquisa em sistemas de arquivos de trabalho paralelos e foi e é vendido sob vários nomes comerciais:
- IBM General Parallel Filesystem
- Armazenamento Elástico
- Escala de Espectro
história
O GPFS surgiu dos projetos de pesquisa da IBM Tiger Shark File System e Vesta File System e foi originalmente referido como um sistema de arquivos multimídia , que ainda pode ser encontrado em nomes internos hoje. Rapidamente ficou claro que o GPFS é particularmente adequado para computadores de alto desempenho devido à sua arquitetura paralela. Em 1998, o GPFS apareceu como um produto oficial da IBM e o sucessor do Vesta / PIOFS como um sistema de arquivos compatível com POSIX .
O GPFS foi ou é usado nos supercomputadores ASCI White e ASC Purple no Lawrence Livermore National Laboratory . Posteriormente, foi transferido para outros sistemas operacionais:
Outros protocolos de rede, como CIFS, eram suportados. Originalmente um sistema de arquivos por trás de grandes instalações de armazenamento, mais tarde foi vendido como um produto de software, independentemente do hardware. Recursos como clusters de nada compartilhado foram adicionados mais recentemente. Em 14 de julho de 2014, a IBM anunciou um serviço em nuvem chamado Elastic Storage . Em 17 de fevereiro de 2015, a IBM renomeou GPFS para Spectrum Scale .
GPFS em supercomputação
GPFS é usado como um sistema de arquivos de cluster com alta largura de banda de leitura / gravação em várias instalações da lista de supercomputadores TOP500 , exemplos:
- NCSA http://www.ncsa.illinois.edu/news/story/ncsa_to_deploy_ibms_gpfs_for_all_supercomputing_systems
- Biowulf / NiH https://www.top500.org/news/nih-receives-major-supercomputer-upgrade/
- Cheyenne / NCAR (SGI) https://www.top500.org/news/ncar-launches-five-petaflop-supercomputer/
- Juron, Julia / Jülich: https://www.top500.org/news/juelich-supercomputing-centre-deploys-cray-and-ibm-supercomputers-for-human-brain-project/
- Leibniz Computing Center, SuperMUC / Munich https://www.lrz.de/services/compute/supermuc/systemdescription/
- ASCI Branco e Roxo / LLNL https://asc.llnl.gov/computing_resources/purple/ (2002)
- Argonne Mira System https://www.alcf.anl.gov/mira e https://www.alcf.anl.gov/resources-expertise/data-networking
- um registro atual: https://www.heise.de/newsticker/meldung/IBM-Forscher-stellen-Weltrekord-beim-Massenspeicher-Zugriff-auf-1284611.html
Funções
Os sistemas de armazenamento integrados da IBM que consistem em hardware e software com GPFS no sistema operacional Linux são:
- V7000 Unified, um dispositivo para armazenamento de block e file
- Elastic Storage Server (ESS), vários dispositivos baseados em energia para armazenamento de arquivos e objetos
- SONAS - Scale Out Network Attached Storage https://www.ibm.com/de-en/marketplace/scale-out-file-and-object-storage (agora em Spectrum Scale )
A escala GPFS / Spectrum tem as seguintes propriedades funcionais:
- Vários computadores NAS podem montar um volume de cluster ao mesmo tempo (em paralelo) para gravação, portanto, o sistema de arquivos é escalonável para um grande número de clientes.
- A distribuição e, portanto, a leitura e a gravação paralelas são suportadas no nível do dispositivo de armazenamento em massa e arquivos individuais. Esse paralelismo permite que taxas de transferência muito altas sejam alcançadas.
- Gerenciador de bloqueio distribuído : a gravação paralela em um sistema de arquivos é possível porque um arquivo só pode ser gravado por um processo de cada vez
- Metadados e dados podem ser distribuídos em diferentes discos para melhorar o desempenho
- Vários servidores GPFS (também chamados de nós) funcionam como um cluster altamente disponível, as falhas são interceptadas
- O GPFS também pode ser baseado no princípio do trabalho de cluster sem compartilhamento da versão 4.1 (FPO - File Placement Optimizer) e pode, portanto, trabalhar como HDFS
- limites muito grandes para o tamanho do arquivo (8 EB ), tamanho do diretório, tamanho do sistema de arquivo (8 YB ), número de arquivos por sistema de arquivo (2 ^ 64)
- Suporte para HSM / gerenciamento de armazenamento hierárquico
- os volumes podem ser compartilhados com o protocolo CIFS e NFS ao mesmo tempo, a partir da versão 4.1 também como sistema de arquivos distribuído Hadoop .
- O controle de direitos de acesso funciona para NFS (para sistemas Unix) com direitos de arquivo POSIX e para CIFS (sistemas Windows) com ACLs . Esses direitos de acesso a arquivos podem ser controlados independentemente um do outro
- O sistema de arquivos funciona de acordo com o princípio copy-on-write . Semelhante às "cópias de sombra" do Windows, os instantâneos podem ser acessados por meio de qualquer diretório exportado, tanto via NFS quanto via CIFS
- A replicação assíncrona entre diferentes volumes GPFS é possível (Active File Management)
Links da web
- A página inicial do produto na IBM é https://www.ibm.com/systems/de/storage/spectrum/index.html
- a página de recursos da IBM é https://www.ibm.com/de-en/marketplace/scale-out-file-and-object-storage
- A página de entrada para a documentação online da IBM é https://www.ibm.com/support/knowledgecenter/SSFKCN/gpfs_welcome.html
- GPFS Wiki https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/wiki/General%20Parallel%20File%20System%20(GPFS)
Evidência individual
- ^ FAST 2002 Conference on File and Storage Technologies. Recuperado em 30 de outubro de 2017 .
- ^ ASCI Roxo. Recuperado em 30 de outubro de 2017 .
- ↑ Otimizador de posicionamento de arquivos. Recuperado em 30 de outubro de 2017 .
- ↑ Anúncio de armazenamento elástico. Recuperado em 27 de janeiro de 2018 .
