GPFS - GPFS
| Dezvoltatori | IBM |
|---|---|
| Numele complet | IBM Spectrum Scale |
| Introdus | 1998 cu AIX |
| Limite | |
| Max. dimensiunea volumului | 8 YB |
| Max. mărime fișier | 8 EB |
| Max. numărul de fișiere | 2 64 per sistem de fișiere |
| Caracteristici | |
| Permisiuni de sistem de fișiere | POSIX |
| Criptare transparentă | da |
| Alte | |
| Sisteme de operare acceptate | AIX , Linux , Windows Server |
GPFS ( General Parallel File System , marca IBM Spectrum Scale ) este un software de sistem de fișiere clusterizat de înaltă performanță dezvoltat de IBM . Poate fi implementat în moduri paralele pe disc partajat sau nimic distribuit, sau o combinație a acestora. Este folosit de multe dintre cele mai mari companii comerciale din lume, precum și de unele dintre supercomputerele de pe lista Top 500 . De exemplu, este sistemul de fișiere al Summit - ului de la Oak Ridge National Laboratory, care a fost cel mai rapid supercomputer din lume în top500 din luna noiembrie 2019 a listei de supercalculatoare. Summit este un sistem de 200 Petaflops compus din mai mult de 9.000 de microprocesoare IBM POWER și 27.000 de GPU-uri NVIDIA Volta . Sistemul de fișiere de stocare numit Alpine are 250 PB de stocare utilizând Spectrum Scale pe hardware-ul de stocare IBM ESS, capabil de aproximativ 2,5 TB / s de I / O secvențială și 2,2 TB / s de I / O aleatorie.
La fel ca sistemele de fișiere tip cluster, GPFS oferă acces simultan la fișiere de mare viteză la aplicațiile care se execută pe mai multe noduri de clustere. Poate fi utilizat cu clustere AIX , clustere Linux , pe Microsoft Windows Server sau un cluster eterogen de noduri AIX, Linux și Windows care rulează pe arhitecturi de procesor x86 , POWER sau IBM Z. În plus față de furnizarea de capacități de stocare a sistemului de fișiere, acesta oferă instrumente pentru gestionarea și administrarea cluster-ului GPFS și permite accesul partajat la sistemele de fișiere din clustere la distanță.
Istorie
GPFS a început ca sistemul de fișiere Tiger Shark , un proiect de cercetare la Centrul de Cercetare Almaden al IBM încă din 1993. Tiger Shark a fost inițial conceput pentru a sprijini aplicații multimedia cu randament ridicat. Acest design sa dovedit a fi potrivit pentru calculul științific.
Un alt strămoș este sistemul de fișiere Vesta al IBM , dezvoltat ca proiect de cercetare la Centrul de Cercetare Thomas J. Watson al IBM între 1992 și 1995. Vesta a introdus conceptul de partiționare a fișierelor pentru a se potrivi nevoilor aplicațiilor paralele care rulează pe multicomputere performante cu I / paralel O subsisteme. Cu partiționarea, un fișier nu este o secvență de octeți, ci mai degrabă mai multe secvențe disjuncte care pot fi accesate în paralel. Partiționarea este astfel încât abstractizează numărul și tipul nodurilor I / O care găzduiesc sistemul de fișiere și permite o varietate de vizualizări partiționate logic ale fișierelor, indiferent de distribuția fizică a datelor în nodurile I / O. Secvențele disjuncte sunt aranjate pentru a corespunde proceselor individuale ale unei aplicații paralele, permițând o scalabilitate îmbunătățită.
Vesta a fost comercializat ca sistem de fișiere PIOFS în jurul anului 1994 și a fost succedat de GPFS în jurul anului 1998. Principala diferență între sistemele de fișiere mai vechi și mai noi a fost aceea că GPFS a înlocuit interfața specializată oferită de Vesta / PIOFS cu API-ul standard Unix : toate caracteristicile de suport I / O paralelă de înaltă performanță au fost ascunse utilizatorilor și implementate sub capotă.
GPFS este disponibil pe IBM AIX din 1998, pe Linux din 2001 și pe Windows Server din 2008.
Astăzi este utilizat de multe dintre primele 500 de supercalculatoare listate în Top 500 Lista de supercomputere. Încă de la început, a fost implementat cu succes pentru multe aplicații comerciale, inclusiv suporturi digitale, analize de rețea și servicii de fișiere scalabile.
În 2010, IBM a previzualizat o versiune a GPFS care include o funcție cunoscută sub numele de GPFS-SNC, unde SNC înseamnă Shared Nothing Cluster. Acesta a fost lansat oficial cu GPFS 3.5 în decembrie 2012 și este acum cunoscut sub numele de FPO (File Placement Optimizer). Aceasta îi permite să utilizeze discuri atașate local pe un cluster de servere conectate la rețea, mai degrabă decât să necesite servere dedicate cu discuri partajate (de exemplu, folosind un SAN). FPO este potrivit pentru încărcări de lucru cu localitate ridicată a datelor, cum ar fi clusterele de baze de date nimic partajat, cum ar fi SAP HANA și DB2 DPF, și poate fi utilizat ca sistem de fișiere compatibil HDFS .
Arhitectură
Este un sistem de fișiere grupat . Se împarte un fișier în blocuri de o dimensiune configurată, mai puțin de 1 megabyte fiecare, care sunt distribuite pe mai multe noduri de cluster.
Sistemul stochează date pe volume standard de stocare a blocurilor, dar include un strat RAID intern care poate virtualiza aceste volume pentru redundanță și acces în paralel, la fel ca un sistem de stocare a blocurilor RAID. De asemenea, are capacitatea de a reproduce mai multe volume la nivel de fișier superior.
Caracteristicile arhitecturii includ
- Metadate distribuite, inclusiv arborele directorului. Nu există un singur „controler de director” sau „server index” responsabil de sistemul de fișiere.
- Indexarea eficientă a intrărilor de director pentru directoare foarte mari.
- Blocare distribuită. Aceasta permite semantica completă a sistemului de fișiere POSIX , inclusiv blocarea pentru accesul exclusiv la fișiere.
- Partiție conștientă. Un eșec al rețelei poate partiționa sistemul de fișiere în două sau mai multe grupuri de noduri care pot vedea doar nodurile din grupul lor. Acest lucru poate fi detectat printr-un protocol de bătăi ale inimii și, atunci când apare o partiție, sistemul de fișiere rămâne activ pentru cea mai mare partiție formată. Aceasta oferă o degradare grațioasă a sistemului de fișiere - unele mașini vor rămâne în funcțiune.
- Întreținerea sistemului de fișiere poate fi efectuată online. Majoritatea sarcinilor de întreținere a sistemului de fișiere (adăugarea de discuri noi, reechilibrarea datelor pe discuri) pot fi efectuate în timp ce sistemul de fișiere este activ. Acest lucru asigură că sistemul de fișiere este disponibil mai des, așa că păstrează clusterul de supercomputer în sine disponibil mai mult timp.
Alte caracteristici includ disponibilitatea ridicată, capacitatea de a fi utilizat într-un cluster eterogen, recuperarea în caz de dezastru, securitate, DMAPI , HSM și ILM .
Comparativ cu sistemul de fișiere distribuite Hadoop (HDFS)
Sistemul de fișiere HDado Hadoop este conceput pentru a stoca cantități similare sau mai mari de date pe hardware de marfă - adică centre de date fără discuri RAID și o rețea de zonă de stocare (SAN).
- De asemenea, HDFS împarte fișierele în blocuri și le stochează pe diferite noduri ale sistemului de fișiere.
- GPFS are o semantică completă a sistemului de fișiere Posix.
- GPFS își distribuie indicii de director și alte metadate prin sistemul de fișiere. Hadoop, în schimb, păstrează acest lucru pe Namenodes primar și secundar, servere mari care trebuie să stocheze toate informațiile de index în RAM.
- GPFS împarte fișierele în blocuri mici. Hadoop HDFS îi place blocurile de 64 MB sau mai mult, deoarece acest lucru reduce cerințele de stocare ale Namenode. Blocurile mici sau multe fișiere mici umplu rapid indicii unui sistem de fișiere, deci limitați dimensiunea sistemului de fișiere.
Managementul ciclului de viață al informațiilor
Grupurile de stocare permit gruparea discurilor într-un sistem de fișiere. Un administrator poate crea niveluri de stocare grupând discurile pe baza caracteristicilor de performanță, localitate sau fiabilitate. De exemplu, un grup ar putea fi discuri Fibre Channel de înaltă performanță și un alt spațiu de stocare SATA mai economic.
Un set de fișiere este un sub-arbore al spațiului de nume al sistemului de fișiere și oferă o modalitate de partiționare a spațiului de nume în unități mai mici și mai ușor de gestionat. Seturile de fișiere oferă o graniță administrativă care poate fi utilizată pentru a stabili cote și pentru a fi specificată într-o politică pentru a controla plasarea inițială a datelor sau migrarea datelor. Datele dintr-un singur set de fișiere pot locui într-unul sau mai multe pool-uri de stocare. Unde se află datele fișierului și cum sunt migrate se bazează pe un set de reguli dintr-o politică definită de utilizator.
Există două tipuri de politici definite de utilizator: plasarea fișierelor și gestionarea fișierelor. Politicile de plasare a fișierelor direcționează datele fișierului pe măsură ce fișierele sunt create către grupul de stocare adecvat. Regulile de plasare a fișierelor sunt selectate de atribute precum numele fișierului, numele de utilizator sau setul de fișiere. Politicile de gestionare a fișierelor permit mutarea sau replicarea datelor fișierului sau ștergerea fișierelor. Politicile de gestionare a fișierelor pot fi folosite pentru a muta datele dintr-un pool în altul fără a modifica locația fișierului în structura directorului. Politicile de gestionare a fișierelor sunt determinate de atributele fișierului, cum ar fi ultima dată de acces, numele căii sau dimensiunea fișierului.
Motorul de procesare a politicilor este scalabil și poate fi rulat pe mai multe noduri simultan. Acest lucru permite ca politicile de gestionare să fie aplicate unui singur sistem de fișiere cu miliarde de fișiere și finalizate în câteva ore.
