MapR FS - MapR FS

MapR File System ( MapR FS ) on ryvästiedostojärjestelmän järjestelmä , joka tukee sekä hyvin laajoja ja korkean suorituskyvyn käyttötarkoituksia. MapR FS tukee useita rajapintoja, mukaan lukien tavanomainen luku- / kirjoitustiedostojen käyttö NFS: n ja FUSE-liitännän kautta, sekä HDFS-liitännän kautta, jota monet järjestelmät, kuten Apache Hadoop ja Apache Spark, käyttävät . Tiedostopohjaisen pääsyn lisäksi MapR FS tukee pääsyä taulukoihin ja viestivirtoihin Apache HBase- ja Apache Kafka -sovellusliittymien kautta sekä asiakirjatietokantaliittymän kautta.

Ensimmäistä kertaa vuonna 2010 julkaistu MapR FS on nyt tyypillisesti kuvattu MapR Converged Data Platformiksi, koska siihen on lisätty taulukko- ja viestiliittymiä. Samaa ydintekniikkaa käytetään kuitenkin kaikkien näiden pysyvän tietojen tallennuksen muotojen toteuttamiseen, ja kaikki palvelinprosessit tukevat viime kädessä kaikkia rajapintoja. Koko tietokannan eri ominaisuuksien erottamiseksi termiä MapR FS käytetään tarkemmin viittaamaan tiedostopohjaisiin rajapintoihin, MapR DB: tä tai MapR JSON DB: tä käytetään viittaamaan taulukkorajapintoihin ja MapR Streamsia käytetään kuvaamaan viestien suoratoisto-ominaisuudet.

MapR FS on klusteritiedostojärjestelmä, koska se tarjoaa yhdenmukaisen pääsyn tiedostoihin ja muihin objekteihin, kuten taulukoihin, käyttäen yleistä nimiavaruutta, johon pääsee järjestelmän mistä tahansa asiakkaasta. Pääsynvalvonta tarjotaan myös tiedostoille, taulukoille ja suoratoistoille, jotka käyttävät pääsynhallinta-lausekkeita , jotka ovat laajennus yleisempään (ja rajoitettuun) pääsynvalvontaluetteloon , jotta käyttöoikeudet voidaan koostaa paitsi sallittujen käyttäjien tai ryhmien luetteloista myös Salli loogiset yhdistelmät käyttäjätunnuksista ja ryhmistä.

Historia

MapR Technologies kehitti MapR FS: n vuodesta 2009 lähtien Apache Hadoopin ominaisuuksien laajentamiseksi tarjoamalla suorituskykyisemmän ja vakaamman alustan. MapR FS: n suunnitteluun vaikuttavat monet muut järjestelmät, kuten Andrew File System (AFS). Volyymien käsitteellä AFS: ssä on jonkin verran yhtäläisyyksiä käyttäjien kannalta, vaikka toteutus MapR FS: ssä on täysin erilainen. Yksi merkittävä ero AFS: n ja MapR FS: n välillä on, että jälkimmäinen käyttää vahvaa sakeusmallia, kun taas AFS tarjoaa vain heikon sakeuden.

Hadoop-ohjelmien tukemisen alkuperäisten tavoitteiden saavuttamiseksi MapR FS tukee HDFS-sovellusliittymää kääntämällä HDFS-funktiokutsut sisäiseksi API: ksi, joka perustuu mukautettuun etäkäytön kutsumekanismiin (RPC). Normaali kerran kirjoitettava HDFS-malli korvataan MapR FS: ssä täysin muutettavissa olevalla tiedostojärjestelmällä, vaikka HDFS-sovellusliittymää käytettäisiin. Kyky tukea tiedostomutaatiota mahdollistaa NFS-palvelimen toteuttamisen, joka muuntaa NFS-operaatiot sisäisiksi MapR RPC-kutsuiksi. Samanlaisia ​​mekanismeja käytetään tiedostojärjestelmän sallimiseksi Userspace (FUSE) -rajapinnassa ja Apache HBase -sovellusliittymän likimääräisen emuloinnin sallimiseksi .

Arkkitehtuuri

MapR FS: n tiedostot toteutetaan sisäisesti jakamalla tiedoston sisältö paloiksi , tyypillisesti 256 Mt: n kokoisiksi, vaikka koko onkin kullekin tiedostolle ominainen. Jokainen osa kirjoitetaan säiliöihin, jotka ovat replikaation osa klusterissa. Säiliöt replikoidaan ja replikointi tapahtuu joko lineaarisesti, jolloin kukin replika välittää kirjoitusoperaatiot seuraavalle replikalle rivillä tai tähtimuodossa, jossa pääkopio välittää kirjoitusoperaatiot kaikille muille kopioille samanaikaisesti. Master-kopio kuittaa kirjoitukset, kun kaikki kirjoitukset kaikkiin kopioihin ovat valmiit. Sisäisesti kontit toteuttavat B-puita, joita käytetään useilla tasoilla, esimerkiksi kartoittamaan tiedostonsiirtymä palasiksi tiedostossa tai kartoittamaan tiedostonsiirto oikeaan 8 kt: n lohkoon palan sisällä.

Näitä B-puita käytetään myös hakemistojen toteuttamiseen. Kunkin hakemistossa olevan tiedoston tai hakemiston nimen pitkää tiivistettä käytetään alitiedoston tai hakemistotaulukon löytämiseen.

Volyymi on erityinen tietorakenne, joka muistuttaa hakemistoa monin tavoin, paitsi että se mahdollistaa ylimääräiset pääsynvalvonta- ja hallintatoimet. Huomattava tilavuusominaisuus on, että solmut, joilla tilavuus voi sijaita klusterissa, voidaan rajoittaa suorituskyvyn hallintaan, etenkin voimakkaasti kilpailluissa monen vuokralaisen järjestelmissä, joissa on paljon erilaisia ​​työmääriä.

MapR FS: ssä käytetään omaa tekniikkaa tapahtumien toteuttamiseksi kontteissa ja johdonmukaisen kaatumisen palauttamiseksi.

Muita tiedostojärjestelmän ominaisuuksia ovat

• Hajautetut klusterin metatiedot, mukaan lukien kaikkien konttien sijainti ja järjestely replikointiketjuiksi.
• Hajautetut metatiedot, mukaan lukien hakemistopuu. Kaikki hakemistot kopioidaan täysin, eikä yksikään solmu sisällä kaikkia klusterin metatietoja.
• B-puiden tehokas käyttö korkean suorituskyvyn saavuttamiseksi jopa hyvin suurten hakemistojen kanssa.
• Jakautumistoleranssi. Ryhmä voidaan osioida menettämättä johdonmukaisuutta, vaikka saatavuus saattaa vaarantua. Rajoitettua yhdenmukaisuuden replikointia useissa klustereissa tuetaan myös äänenvoimakkuuden peilien avulla sekä taulukoiden ja virtojen lähes reaaliaikaisella replikoinnilla.
• Johdonmukainen monisäikeinen päivitys. Tiedostot voidaan päivittää tai lukea monilla ohjauspiireillä samanaikaisesti ilman, että tarvitaan yleisiä lukitusrakenteita.
• Jatkuvat päivitykset ja online-tiedostojärjestelmän ylläpito. Lähes kaikki huollot, mukaan lukien suuret versiopäivitykset, voidaan suorittaa, kun klusteri jatkaa toimintaansa lähes täydellä nopeudella.

Katso myös

• GFS2
• Kiilto
• Google-tiedostojärjestelmä
• Luettelo tiedostojärjestelmistä
• Kiilto (tiedostojärjestelmä)
• HirviFS
• OCFS2
• QFS
• RozoFS
• Jaetun levyn tiedostojärjestelmä
• ZFS

Viitteet

Ulkoiset linkit

• MapR-kotisivu