GPFS - GPFS
| Utvikler (er) | IBM |
|---|---|
| Fullt navn | IBM Spectrum Scale |
| Introdusert | 1998 med AIX |
| Grenser | |
| Maks. volumstørrelse | 8 YB |
| Maks. filstørrelse | 8 EB |
| Maks. antall filer | 2 64 per filsystem |
| Funksjoner | |
| Tillatelser for filsystem | POSIX |
| Gjennomsiktig kryptering | ja |
| Annen | |
| Støttede operativsystemer | AIX , Linux , Windows Server |
GPFS ( General Parallel File System , merkenavn IBM Spectrum Scale ) er en høy ytelse klynget filsystemprogramvare utviklet av IBM . Den kan distribueres i delt-disk eller delt-ingenting distribuerte parallelle moduser, eller i en kombinasjon av disse. Den brukes av mange av verdens største kommersielle selskaper, samt noen av superdatamaskinene på Top 500-listen . For eksempel er det filsystemet til Summit at Oak Ridge National Laboratory som var verdens første raskeste superdatamaskin på topp500-listen over superdatamaskiner i november 2019. Summit er et 200 Petaflops- system som består av mer enn 9000 IBM POWER-mikroprosessorer og 27 000 NVIDIA Volta- GPUer . Lagringsfilsystemet kalt Alpine har 250 PB lagring ved bruk av Spectrum Scale på IBM ESS-lagringsmaskinvare, i stand til omtrent 2,5 TB / s sekvensiell I / O og 2,2 TB / s tilfeldig I / O.
I likhet med typiske klyngefilsystemer gir GPFS samtidig høyhastighets filtilgang til applikasjoner som kjøres på flere noder av klynger. Den kan brukes med AIX- klynger, Linux- klynger, på Microsoft Windows Server eller en heterogen klynge av AIX-, Linux- og Windows-noder som kjører på x86- , POWER- eller IBM Z- prosessorarkitekturer. I tillegg til å tilby lagringsfunksjoner for filsystemer, gir den verktøy for administrasjon og administrasjon av GPFS-klyngen og gir mulighet for delt tilgang til filsystemer fra eksterne klynger.
Historie
GPFS begynte som Tiger Shark- filsystemet, et forskningsprosjekt ved IBMs Almaden Research Center allerede i 1993. Tiger Shark ble opprinnelig designet for å støtte multimedia-applikasjoner med høy gjennomstrømning. Denne designen viste seg å være godt egnet for vitenskapelig databehandling.
En annen forfader er IBMs Vesta- filsystem, utviklet som et forskningsprosjekt ved IBMs Thomas J. Watson Research Center mellom 1992 og 1995. Vesta introduserte konseptet med filpartisjonering for å imøtekomme behovene til parallelle applikasjoner som kjører på høytytende multidatamaskiner med parallell I / O delsystemer. Med partisjonering er en fil ikke en sekvens av byte, men snarere flere usammenhengende sekvenser som kan åpnes parallelt. Partisjoneringen er slik at den tar bort antallet og typen I / O-noder som er vert for filsystemet, og det tillater en rekke logisk partisjonerte visninger av filer, uavhengig av den fysiske fordelingen av data i I / O-nodene. De usammenhengende sekvensene er ordnet slik at de tilsvarer individuelle prosesser for en parallell applikasjon, noe som gir bedre skalerbarhet.
Vesta ble kommersialisert som PIOFS-filsystemet rundt 1994, og ble etterfulgt av GPFS rundt 1998. Hovedforskjellen mellom eldre og nyere filsystemer var at GPFS erstattet det spesialiserte grensesnittet som tilbys av Vesta / PIOFS med standard Unix API : alle funksjonene som støttes høy ytelse parallell I / O ble skjult for brukerne og implementert under panseret.
GPFS har vært tilgjengelig på IBMs AIX siden 1998, på Linux siden 2001, og på Windows Server siden 2008.
I dag brukes den av mange av de 500 beste superdatamaskinene som er oppført på Top 500 Supercomputing List. Siden oppstarten har den blitt distribuert med hell for mange kommersielle applikasjoner, inkludert digitale medier, nettanalyse og skalerbare filtjenester.
I 2010 forhåndsviste IBM en versjon av GPFS som inkluderte en funksjon kjent som GPFS-SNC, der SNC står for Shared Nothing Cluster. Dette ble offisielt gitt ut med GPFS 3.5 i desember 2012, og er nå kjent som FPO (File Placement Optimizer). Dette gjør det mulig å bruke lokalt tilkoblede disker på en klynge av nettverkstilkoblede servere i stedet for å kreve dedikerte servere med delte disker (f.eks. Ved hjelp av et SAN). FPO er egnet for arbeidsmengder med høy datalokalitet, for eksempel delt ingenting databaseklynger som SAP HANA og DB2 DPF, og kan brukes som et HDFS- kompatibelt filsystem.
Arkitektur
Det er et klynget filsystem . Den deler en fil i blokker med en konfigurert størrelse, mindre enn 1 megabyte hver, som er fordelt på flere klyngenoder.
Systemet lagrer data på standard blokklagringsvolumer, men inkluderer et internt RAID-lag som kan virtualisere disse volumene for redundans og parallell tilgang omtrent som et RAID-blokklagringssystem. Den har også muligheten til å replikere på tvers av volumer på høyere filnivå.
Funksjoner av arkitekturen inkluderer
- Distribuerte metadata, inkludert katalogtreet. Det er ingen enkelt "katalogkontroller" eller "indeksserver" som har ansvaret for filsystemet.
- Effektiv indeksering av katalogoppføringer for veldig store kataloger.
- Distribuert låsing. Dette gir full POSIX filsystemsemantikk, inkludert låsing for eksklusiv filtilgang.
- Partisjon bevisst. En feil i nettverket kan dele filsystemet i to eller flere grupper av noder som bare kan se nodene i gruppen. Dette kan oppdages gjennom en hjerterytmeprotokoll, og når en partisjon oppstår, forblir filsystemet live for den største partisjonen som dannes. Dette gir en elegant nedbrytning av filsystemet - noen maskiner vil fortsatt fungere.
- Vedlikehold av filsystem kan utføres online. De fleste av vedlikeholdsarbeidene for filsystemet (legge til nye disker, balansere data på nytt over disker) kan utføres mens filsystemet er live. Dette sikrer at filsystemet er tilgjengelig oftere, så holder superdatamaskinen klyngen tilgjengelig lenger.
Andre funksjoner inkluderer høy tilgjengelighet, evne til å brukes i en heterogen klynge, katastrofegjenoppretting, sikkerhet, DMAPI , HSM og ILM .
Sammenlignet med Hadoop Distributed File System (HDFS)
Hadoop 's HDFS filsystem, er konstruert for å lagre tilsvarende eller større mengder data på standard maskiner - det vil si datasentre uten RAID- disker og et lagringsområdenettverk (SAN).
- HDFS deler også filer opp i blokker, og lagrer dem på forskjellige filsystemnoder.
- GPFS har full Posix-filsystemsemantikk.
- GPFS distribuerer katalogindeksene og andre metadata over filsystemet. Hadoop, derimot, holder dette på Primary og Secondary Namenodes, store servere som må lagre all indeksinformasjon i RAM.
- GPFS deler filer opp i små blokker. Hadoop HDFS liker blokker på 64 MB eller mer, da dette reduserer lagringskravene til Namenode. Små blokker eller mange små filer fyller raskt opp et filsystems indekser, så begrens filsystemets størrelse.
Informasjon livssyklus ledelse
Lagringsbassenger tillater gruppering av disker i et filsystem. En administrator kan lage lagringsnivåer ved å gruppere disker basert på ytelses-, lokalitets- eller pålitelighetsegenskaper. For eksempel kan et basseng være høy ytelse Fiber Channel- disker og et annet mer økonomisk SATA-lagring.
Et filsett er et undertrær i filsystemets navneområde og gir en måte å dele navneområdet i mindre, mer håndterbare enheter. Filsett gir en administrativ grense som kan brukes til å angi kvoter og spesifiseres i en policy for å kontrollere innledende dataplassering eller datamigrering. Data i et enkelt filsett kan ligge i ett eller flere lagringsbassenger. Hvor fildataene ligger og hvordan de overføres, er basert på et sett med regler i en brukerdefinert policy.
Det er to typer brukerdefinerte policyer: filplassering og filadministrasjon. Retningslinjer for filplassering dirigerer fildata når filer opprettes til riktig lagringsbasseng. Regler for filplassering velges av attributter som filnavn, brukernavn eller filsett. Politikk for filadministrasjon tillater at filens data flyttes eller replikeres eller at filer slettes. Retningslinjer for filadministrasjon kan brukes til å flytte data fra ett basseng til et annet uten å endre filens plassering i katalogstrukturen. Retningslinjer for filhåndtering bestemmes av filattributter som siste tilgangstid, banenavn eller filstørrelse.
Retningslinjebehandlingsmotoren er skalerbar og kan kjøres på mange noder samtidig. Dette gjør at administrasjonspolitikk kan brukes på et enkelt filsystem med milliarder filer og fullføres på få timer.
