LizardFS - LizardFS

LizardFS
LizardFS Logo.svg
Udvikler (r) Distribueret FS Sp. Zoo
Stabil frigivelse
3.12.0 / 21. december 2017 ; 3 år siden  ( 2017-12-21 )
Datalager Rediger dette på Wikidata
Operativ system Linux , FreeBSD , Mac OS X , Solaris
Type Distribueret filsystem
Licens GPLv3
Internet side LizardFS.com

LizardFS er et open source- distribueret filsystem, der er POSIX- kompatibelt og licenseret under GPLv3 . Det blev udgivet i 2013 som gaffel af MooseFS . LizardFS tilbyder også en betalt teknisk support (Standard, Enterprise og Enterprise Plus) med mulighed for at konfigurere og opsætte klyngen og aktiv klyngeovervågning.

LizardFS er et distribueret, skalerbart og fejltolerant filsystem. Filsystemet er designet, så det er muligt at tilføje flere diske og servere "på farten" uden behov for server genstart eller nedlukning.

Beskrivelse

LizardFS gør filer sikre ved at opbevare alle data i flere replikaer spredt over de tilgængelige servere. Denne opbevaring præsenteres for slutbrugeren som et enkelt logisk navneområde. Det kan også bruges til at opbygge pladseffektiv opbevaring, fordi det er designet til at køre på råvarehardware . Det har applikationer på flere områder og bruges af institutioner inden for finansiering, telekommunikation, medicin, uddannelse, efterproduktion, spiludvikling, cloud-hosting-tjenester og andre.

Hardware

LizardFS er fuldt hardware agnostiker. Råvare kan bruges til omkostningseffektivitet. Minimumskravene er to dedikerede noder med et antal diske, men for at opnå en høj tilgængelig installation er mindst 3 noder nødvendige. Dette vil også muliggøre brugen af sletningskodning .

Arkitektur

LizardFS holder metadata (f.eks. Filnavne, tidsstempler for ændringer, katalogtræer) og dataene separat. Metadata opbevares på metadataservere, mens data opbevares på chunkservere.

En typisk installation består af:

  • Mindst to metadataservere, der fungerer i master-slave-tilstand for fejlgendannelse. Deres rolle er at styre hele installationen, så den aktive metadataserver kaldes ofte hovedserveren. Andre metadataserveres rolle er at holde sig synkroniseret med den aktive masterserver, så de kaldes ofte skyggemasterservere. Enhver skygge-masterserver er til enhver tid klar til at tage rollen som masterserver. En foreslået konfiguration af en metadataserver er en maskine med hurtig CPU , mindst 32 GB RAM og mindst et drev (helst SSD) til lagring af flere GB metadata.
  • Et sæt chunkservere, der gemmer dataene. Hver fil er opdelt i blokke kaldet klumper (hver op til 64 MB), som er gemt på klumpserverne. En foreslået konfiguration af en chunkserver er en maskine med stor diskplads tilgængelig enten i en JBOD- eller RAID- konfiguration. CPU og RAM er ikke særlig vigtige. Du kan have så lidt som 2 chunkservere eller så mange som hundreder af dem.
  • Kunder, der bruger de data, der er gemt på LizardFS. Disse maskiner bruger LizardFS-montering til at få adgang til filer i installationen og behandle dem ligesom dem på deres lokale harddiske. Filer, der er gemt på LizardFS, kan ses og få adgang til så mange klienter, som det er nødvendigt.

Funktioner

  • Snapshots - Når du opretter et snapshot, kopieres kun metadataene for en målfil, hvilket fremskynder handlingen. Biter af originalen og den duplikerede fil deles, indtil en af ​​dem er ændret.
  • QoS - LizardFS tilbyder mekanismer, der giver administratorer mulighed for at indstille læse / skrive båndbreddegrænser for al trafik, der genereres af et givet monteringspunkt, såvel som for en bestemt gruppe processer spredt over flere klientmaskiner og monteringspunkter.
  • Datakopier - Filerne på LizardFS er opdelt i blokke kaldet bidder, hver op til 64 MB. Hver del opbevares på chunkservere, og administratorer kan vælge, hvor mange kopier af hver fil der vedligeholdes. Hvis du f.eks. Vælger at beholde 3 kopier (konfigurationsmål = 3), vil alle data overleve en fejl på to diske eller chunkservere, fordi LizardFS aldrig opbevarer 2 kopier af det samme stykke på den samme node.
  • Geo-replikering - Med Geo-replikation kan du bestemme, hvor klumperne opbevares. Topologifunktionen giver mulighed for at foreslå, hvilken kopi der skal læses af en klient, hvis der er mere end en kopi tilgængelig. For eksempel, når LizardFS distribueres på tværs af to datacentre, fx et i London og et i Paris, er det muligt at tildele etiketten "london" til hver server i London-placeringen og "paris" til hver server i Paris-placeringen .
  • Metadata-replikering - Metadata gemmes på metadataservere. Når som helst administrerer en af ​​metadataserverne også hele installationen og kaldes hovedserveren. Andre metadataservere forbliver synkroniseret med det og er skyggemasterservere
  • Høj tilgængelighed - Shadow-masterservere giver LizardFS høj tilgængelighed. Hvis der er mindst én skygge-masterserver, der kører, og den aktive masterserver går tabt, overtager en af ​​skyggemasterserverne
  • Kvoter - LizardFS understøtter diskkvotemekanisme kendt fra andre POSIX le-systemer. Det giver mulighed for at indstille bløde og hårde grænser for et antal filer og deres samlede størrelse for en bestemt bruger eller en gruppe brugere. En bruger, hvis hårde grænse overskrides, kan ikke skrive nye data til LizardFS.
  • Papirkurv - Et andet træk ved LizardFS er en gennemsigtig og fuldautomatisk papirkurv. Efter fjernelse af en fil flyttes den til en papirkurv, som kun er synlig for administratoren. Enhver fil i papirkurven kan gendannes eller slettes permanent.
  • Native Windows ™ -klient - LizardFS Windows Client kan installeres på både arbejdsstationer og servere. Det giver adgang til filer, der er gemt på LizardFS via et virtuelt drev. Windows-klienten er en licenseret funktion, der skal opnås ved at kontakte skaberne af LizardFS - Distribueret FS Sp. Zoo
  • Overvågning LizardFS tilbyder to overvågningsgrænseflader. Først og fremmest er der et kommandolinjeværktøj, der er nyttigt til systemer som Nagios, Zabbix, Icinga, som typisk bruges til proaktiv overvågning. Derudover er der en grafisk webbaseret overvågningsgrænseflade tilgængelig for administratorer, som gør det muligt at spore næsten alle aspekter af et system.
  • Hadoop - Dette er en java-baseret løsning, der giver Hadoop mulighed for at bruge LizardFS-lagring og implementere en HDFS-grænseflade til LizardFS. Det fungerer som en slags et File System Abstraction Layer. Det giver dig mulighed for at bruge Hadoop-job til direkte adgang til dataene i en LizardFS-klynge. Pluginet oversætter LizardFS-protokol og gør metadataene læsbare for garn og kortreduktion
  • NFS og pNFS - LizardFS bruger NFS-ganesha-server til at oprette NFS-aktier, så teknisk set forbinder NFS-klienten ikke med masterserveren, men med en Ganesha-filserver, der taler direkte med LizardFS-komponenter. Fra brugerens synspunkt fungerer det ligesom en almindelig NFS-server.

Se også

Referencer

eksterne links