IBM General Parallel File System

General Parallel File System ( GPFS ) è un file system cluster di IBM . È emerso da diversi progetti di ricerca su file system funzionanti in parallelo ed era ed è venduto con diversi nomi commerciali:

  • File system parallelo generale IBM
  • Archiviazione elastica
  • Scala dello spettro

storia

GPFS è emerso dai progetti di ricerca IBM Tiger Shark File System e Vesta File System ed era originariamente indicato come un file system multimediale , che può ancora essere trovato nei nomi interni oggi. È diventato subito evidente che GPFS è particolarmente adatto per computer ad alte prestazioni grazie alla sua architettura parallela. Nel 1998, GPFS è apparso come un prodotto IBM ufficiale e il successore di Vesta / PIOFS come file system conforme a POSIX .

GPFS è stato o è utilizzato nei supercomputer ASCI White e ASC Purple presso il Lawrence Livermore National Laboratory . Successivamente è stato portato su altri sistemi operativi:

Sono stati supportati altri protocolli di rete come CIFS. Originariamente un file system dietro grandi installazioni di storage, è stato successivamente venduto come prodotto software indipendentemente dall'hardware. Funzionalità come i cluster condivisi non sono state aggiunte più di recente. Il 14 luglio 2014, IBM ha annunciato un servizio cloud chiamato Elastic Storage . Il 17 febbraio 2015, IBM ha rinominato GPFS in Spectrum Scale .

GPFS nel supercomputing

GPFS viene utilizzato come file system cluster con elevata larghezza di banda di lettura/scrittura in diverse installazioni dell'elenco dei super computer TOP500 , esempi:

Funzioni

I sistemi di storage integrato di IBM costituiti da hardware e software con GPFS sotto il sistema operativo Linux sono:

GPFS / Spectrum Scale ha le seguenti proprietà funzionali:

  • Diversi computer NAS possono montare un volume cluster contemporaneamente (in parallelo) per la scrittura, quindi il file system è scalabile per un gran numero di client.
  • Lo striping e quindi la lettura e la scrittura parallele sono supportate a livello del dispositivo di archiviazione di massa e dei singoli file. Questo parallelismo consente di ottenere velocità di trasmissione molto elevate.
  • Gestione blocchi distribuiti : la scrittura parallela su un file system è resa possibile dal fatto che un file può essere scritto solo da un processo alla volta
  • I metadati e i dati possono essere distribuiti su diversi dischi per migliorare le prestazioni
  • Diversi server GPFS (chiamati anche nodi) funzionano come un cluster a disponibilità elevata, gli errori vengono intercettati
  • GPFS può anche essere basata sul principio della versione 4.1 shared-nothing gruppo di lavoro (FPO - File Placement Optimizer) e può quindi come HDFS lavoro
  • limiti molto grandi per la dimensione del file (8 EB ), la dimensione della directory , la dimensione del file system (8 YB ), il numero di file per file system (2 ^ 64)
  • Supporto per HSM / Gestione archiviazione gerarchica
  • i volumi possono essere condivisi contemporaneamente con protocollo CIFS e NFS , dalla versione 4.1 anche come filesystem distribuito Hadoop .
  • Il controllo dei diritti di accesso funziona per NFS (per sistemi Unix) con diritti sui file POSIX e per CIFS (sistemi Windows) con ACL . Questi diritti di accesso ai file possono essere controllati indipendentemente l'uno dall'altro
  • Il file system funziona secondo il principio copy-on-write . Simile alle "copie shadow" di Windows, è possibile accedere agli snapshot tramite qualsiasi directory esportata, sia tramite NFS che tramite CIFS
  • È possibile la replica asincrona tra diversi volumi GPFS (Gestione file attiva)

link internet

Evidenze individuali

  1. ^ Conferenza FAST 2002 sulle tecnologie di archiviazione e archiviazione. Estratto il 30 ottobre 2017 .
  2. ^ ASCI Viola. Estratto il 30 ottobre 2017 .
  3. ↑ Ottimizzatore del posizionamento dei file. Estratto il 30 ottobre 2017 .
  4. ↑ Annuncio di archiviazione elastica. Estratto il 27 gennaio 2018 .