LizardFS - LizardFS

LizardFS
LizardFS Logo.svg
Sviluppatore / i Distribuito FS Sp. z oo
Rilascio stabile
3.12.0 / 21 dicembre 2017 ; 3 anni fa  ( 21/12/2017 )
Repository Modifica questo su Wikidata
Sistema operativo Linux , FreeBSD , Mac OS X , Solaris
genere File system distribuito
Licenza GPLv3
Sito web LizardFS.com

LizardFS è un open source file system distribuito che è POSIX -compatibile e rilasciato sotto licenza GPLv3 . È stato rilasciato nel 2013 come fork di MooseFS . LizardFS offre anche un supporto tecnico a pagamento (Standard, Enterprise ed Enterprise Plus) con possibilità di configurare e impostare il cluster e il monitoraggio attivo del cluster.

LizardFS è un file system distribuito, scalabile e tollerante ai guasti. Il file system è progettato in modo che sia possibile aggiungere più dischi e server "al volo", senza la necessità di alcun riavvio o spegnimento del server.

Descrizione

LizardFS rende i file protetti mantenendo tutti i dati in più repliche distribuite sui server disponibili. Questo spazio di archiviazione viene presentato all'utente finale come un unico spazio dei nomi logico. Può anche essere utilizzato per creare storage efficiente in termini di spazio perché è progettato per funzionare su hardware di base . Ha applicazioni in più campi ed è utilizzato da istituzioni nei settori della finanza, delle telecomunicazioni, della medicina, dell'istruzione, della post-produzione, dello sviluppo di giochi, dei servizi di cloud hosting e altri.

Hardware

LizardFS è completamente indipendente dall'hardware. L'hardware di base può essere utilizzato per ridurre i costi. I requisiti minimi sono due nodi dedicati con più dischi, ma per ottenere un'installazione ad alta disponibilità sono necessari almeno 3 nodi. Ciò consentirà anche l'uso della codifica di cancellazione .

Architettura

LizardFS conserva i metadati (ad es. Nomi di file, timestamp di modifica, alberi di directory) e i dati separatamente. I metadati vengono conservati su server di metadati, mentre i dati vengono conservati su chunkserver.

Un'installazione tipica è costituita da:

  • Almeno due server di metadati, che funzionano in modalità master-slave per il ripristino in caso di errore. Il loro ruolo è gestire l'intera installazione, quindi il server di metadati attivo viene spesso chiamato server master. Il ruolo degli altri server di metadati è quello di rimanere sincronizzati con il server master attivo, quindi sono spesso chiamati server master shadow. Qualsiasi server master shadow è pronto per assumere il ruolo di server master in qualsiasi momento. Una configurazione suggerita di un server di metadati è una macchina con CPU veloce , almeno 32 GB di RAM e almeno un'unità (preferibilmente SSD) per memorizzare diversi GB di metadati.
  • Un insieme di chunkserver che memorizzano i dati. Ogni file è suddiviso in blocchi chiamati blocchi (ciascuno fino a 64 MB) che vengono archiviati sui server a blocchi. Una configurazione suggerita di un chunkserver è una macchina con ampio spazio su disco disponibile in una configurazione JBOD o RAID . CPU e RAM non sono molto importanti. Puoi avere un minimo di 2 chunkserver o fino a centinaia di essi.
  • Clienti che utilizzano i dati archiviati su LizardFS. Queste macchine usano il montaggio LizardFS per accedere ai file nell'installazione ed elaborarli proprio come quelli sui loro dischi rigidi locali. I file archiviati su LizardFS possono essere visualizzati e accessibili da tutti i client necessari.

Caratteristiche

  • Snapshot : quando si crea uno snapshot, vengono copiati solo i metadati di un file di destinazione, accelerando l'operazione. Pezzi dell'originale e del file duplicato vengono condivisi fino a quando uno di essi non viene modificato.
  • QoS - LizardFS offre meccanismi che consentono agli amministratori di impostare limiti di larghezza di banda di lettura / scrittura per tutto il traffico generato da un dato punto di montaggio, nonché per un gruppo specifico di processi distribuiti su più macchine client e punti di montaggio.
  • Replica dei dati : i file archiviati in LizardFS sono suddivisi in blocchi chiamati blocchi, ciascuno con una dimensione massima di 64 MB. Ogni blocco viene mantenuto sui server e gli amministratori possono scegliere quante copie di ogni file vengono conservate. Ad esempio, scegliendo di mantenere 3 copie (obiettivo di configurazione = 3), tutti i dati sopravviveranno a un guasto di due dischi o chunkserver qualsiasi, perché LizardFS non manterrà mai 2 copie dello stesso blocco sullo stesso nodo.
  • Replica geografica: con la replica geografica puoi decidere dove archiviare i blocchi. La funzione topologia consente di suggerire quale copia deve essere letta da un client nel caso in cui sia disponibile più di una copia. Ad esempio, quando LizardFS è distribuito su due data center, ad es. Uno situato a Londra e uno a Parigi, è possibile assegnare l'etichetta "londra" a ciascun server nella località di Londra e "parigi" a ciascun server nella località di Parigi .
  • Replica dei metadati: i metadati vengono archiviati sui server dei metadati. In qualsiasi momento, uno dei server dei metadati gestisce anche l'intera installazione ed è chiamato server master. Altri server di metadati rimangono sincronizzati con esso e sono server shadow master
  • Alta disponibilità : i server master shadow forniscono a LizardFS un'elevata disponibilità. Se è presente almeno un server master shadow in esecuzione e il server master attivo viene perso, uno dei server master shadow subentra
  • Quote - LizardFS supporta il meccanismo di quota del disco noto da altri le system POSIX. Offre un'opzione per impostare limiti flessibili e rigidi per un numero di file e la loro dimensione totale per un utente specifico o un gruppo di utenti. Un utente il cui limite rigido è stato superato non può scrivere nuovi dati su LizardFS.
  • Cestino - Un'altra caratteristica di LizardFS è un cestino della spazzatura trasparente e completamente automatico. Dopo aver rimosso qualsiasi file, viene spostato in un cestino, visibile solo all'amministratore. Qualsiasi file nel cestino può essere ripristinato o eliminato in modo permanente.
  • Client Windows ™ nativo: il client Windows LizardFS può essere installato sia su workstation che su server. Fornisce accesso ai file archiviati su LizardFS tramite un'unità virtuale. Il client Windows è una funzionalità con licenza che può essere ottenuta contattando i creatori di LizardFS - Distributed FS Sp. z oo
  • Monitoraggio LizardFS offre due interfacce di monitoraggio. Prima di tutto, c'è uno strumento da riga di comando utile per sistemi come Nagios, Zabbix, Icinga, che sono tipicamente usati per il monitoraggio proattivo. Inoltre, è disponibile un'interfaccia grafica di monitoraggio basata sul web per gli amministratori, che consente di monitorare quasi tutti gli aspetti di un sistema.
  • Hadoop : si tratta di una soluzione basata su java che consente a Hadoop di utilizzare l'archiviazione LizardFS, implementando un'interfaccia HDFS per LizardFS. Funziona come una sorta di livello di astrazione del file system. Ti consente di utilizzare i lavori Hadoop per accedere direttamente ai dati su un cluster LizardFS. Il plugin traduce il protocollo LizardFS e rende i metadati leggibili per Yarn e Map Reduce
  • NFS e pNFS - LizardFS utilizza il server NFS-ganesha per creare condivisioni NFS, quindi tecnicamente il client NFS non si connette con il server master, ma con un file server Ganesha che dialoga direttamente con i componenti LizardFS. Dal punto di vista dell'utente, funziona proprio come un normale server NFS.

Guarda anche

Riferimenti

link esterno