Data rooster - Data grid

Image
Dit is een eenvoudige weergave op hoog niveau van een gegevensraster dat gedistribueerde opslag weergeeft.

Een datagrid is een architectuur of een reeks services die individuen of groepen gebruikers de mogelijkheid biedt om extreem grote hoeveelheden geografisch verspreide gegevens te openen, te wijzigen en over te dragen voor onderzoeksdoeleinden. Datagrids maken dit mogelijk door middel van een groot aantal middleware- applicaties en -services die gegevens en bronnen uit meerdere administratieve domeinen samenbrengen en deze vervolgens op verzoek aan gebruikers presenteren. De gegevens in een gegevensraster kunnen zich op een enkele site of op meerdere sites bevinden, waarbij elke site een eigen administratief domein kan zijn dat wordt beheerst door een reeks beveiligingsbeperkingen met betrekking tot wie toegang heeft tot de gegevens. Evenzo kunnen meerdere replica's van de gegevens over het netwerk worden verspreid buiten hun oorspronkelijke administratieve domein en de beveiligingsbeperkingen die aan de oorspronkelijke gegevens zijn opgelegd voor wie er toegang toe heeft, moeten gelijkelijk worden toegepast op de replica's. Specifiek ontwikkelde datagrid-middleware zorgt voor de integratie tussen gebruikers en de gegevens die ze opvragen door de toegang te controleren en deze zo efficiënt mogelijk beschikbaar te stellen. Het diagram hiernaast toont een weergave op hoog niveau van een gegevensraster.

Middleware

Middleware levert alle diensten en applicaties die nodig zijn voor een efficiënt beheer van datasets en bestanden binnen het datagrid, terwijl gebruikers snel toegang krijgen tot de datasets en bestanden. Er zijn een aantal concepten en tools die beschikbaar moeten zijn om een ​​datagrid operationeel haalbaar te maken. Tegelijkertijd vereisen echter niet alle datagrids dezelfde mogelijkheden en diensten vanwege verschillen in toegangsvereisten, beveiliging en locatie van bronnen in vergelijking met gebruikers. In ieder geval zullen de meeste datagrids vergelijkbare middleware-services hebben die voorzien in een universele naamruimte , datatransportservice, datatoegangsservice, datareplicatie en resourcebeheerservice. Samen vormen ze de sleutel tot de functionele mogelijkheden van de datagrids.

Universele naamruimte

Aangezien de gegevensbronnen binnen het gegevensraster zullen bestaan ​​uit gegevens van meerdere afzonderlijke systemen en netwerken die verschillende bestandsnaamconventies gebruiken , zou het voor een gebruiker moeilijk zijn om gegevens in het gegevensraster te lokaliseren en te weten dat hij heeft opgehaald wat hij nodig had, uitsluitend op basis van bestaande fysieke bestandsnamen (PFN's). Een universele of uniforme naamruimte maakt het mogelijk om logische bestandsnamen (LFN's) te maken waarnaar kan worden verwezen in het gegevensraster die verwijzen naar PFN's. Wanneer een LFN wordt aangevraagd of opgevraagd, worden alle overeenkomende PFN's geretourneerd met mogelijke replica's van de gevraagde gegevens. De eindgebruiker kan vervolgens uit de geretourneerde resultaten de meest geschikte replica kiezen om te gebruiken. Deze service wordt meestal geleverd als onderdeel van een beheersysteem dat bekend staat als Storage Resource Broker (SRB). Informatie over de locaties van bestanden en toewijzingen tussen de LFN's en PFN's kan worden opgeslagen in een metadata- of replicacatalogus. De replicacatalogus zou informatie bevatten over LFN's die zijn toegewezen aan meerdere replica-PFN's.

Gegevenstransportservice

Een andere middleware-dienst is het verzorgen van datatransport of datatransfer. Gegevenstransport omvat meerdere functies die niet alleen beperkt zijn tot de overdracht van bits, maar ook zaken als fouttolerantie en gegevenstoegang. Fouttolerantie kan worden bereikt in een gegevensraster door mechanismen te bieden die ervoor zorgen dat de gegevensoverdracht na elke onderbreking wordt hervat totdat alle gevraagde gegevens zijn ontvangen. Er zijn meerdere mogelijke methoden die kunnen worden gebruikt om de volledige verzending opnieuw te starten vanaf het begin van de gegevens tot het hervatten van waar de overdracht werd onderbroken. Als voorbeeld GridFTP zorgt voor fouttolerantie door gegevens van de laatste erkende byte verzenden zonder opnieuw te beginnen het gehele overdracht vanaf het begin.

De gegevenstransportservice zorgt ook voor toegang op laag niveau en verbindingen tussen hosts voor bestandsoverdracht. De gegevenstransportdienst kan een willekeurig aantal modi gebruiken om de overdracht uit te voeren, waaronder parallelle gegevensoverdracht waarbij twee of meer gegevensstromen via hetzelfde kanaal worden gebruikt , of gestreepte gegevensoverdracht waarbij twee of meer steams toegang hebben tot verschillende blokken van het bestand voor gelijktijdige overdracht naar ook gebruikmakend van de onderliggende ingebouwde mogelijkheden van de netwerkhardware of specifiek ontwikkelde protocollen om hogere overdrachtssnelheden te ondersteunen. De gegevenstransportservice kan optioneel een netwerkoverlayfunctie bevatten om de routering en overdracht van gegevens te vergemakkelijken, evenals bestands- I/O- functies waarmee gebruikers externe bestanden kunnen zien alsof ze lokaal op hun systeem staan. De datatransportservice verbergt de complexiteit van toegang en overdracht tussen de verschillende systemen voor de gebruiker, zodat het verschijnt als één uniforme gegevensbron.

Gegevenstoegangsservice

Gegevenstoegangsservices werken hand in hand met de gegevensoverdrachtservice om beveiliging, toegangscontrole en beheer van alle gegevensoverdrachten binnen het gegevensraster te bieden. Beveiligingsservices bieden mechanismen voor authenticatie van gebruikers om ervoor te zorgen dat ze correct worden geïdentificeerd. Veelvoorkomende vormen van beveiliging voor authenticatie kunnen het gebruik van wachtwoorden of Kerberos (protocol) zijn . Autorisatieservices zijn de mechanismen die bepalen waartoe de gebruiker toegang heeft nadat hij door middel van authenticatie is geïdentificeerd. Veelvoorkomende vormen van autorisatiemechanismen kunnen zo eenvoudig zijn als bestandspermissies. De behoefte aan strenger gecontroleerde toegang tot gegevens wordt echter gedaan met behulp van Access Control Lists (ACL's), Role-Based Access Control (RBAC) en Tasked-Based Authorization Controls (TBAC). Deze typen besturingselementen kunnen worden gebruikt om gedetailleerde toegang tot bestanden te bieden, inclusief limieten voor toegangstijden, de duur van toegang tot gedetailleerde besturingselementen die bepalen naar welke bestanden kan worden gelezen of geschreven. De laatste datatoegangsdienst die aanwezig kan zijn om de vertrouwelijkheid van het datatransport te beschermen, is encryptie. De meest gebruikelijke vorm van codering voor deze taak is het gebruik van SSL tijdens transport. Hoewel al deze toegangsservices binnen het datagrid opereren, blijven toegangsservices binnen de verschillende administratieve domeinen die de datasets hosten, op hun plaats om toegangsregels af te dwingen. Om dit te laten werken, moeten de datagridtoegangsdiensten in de pas lopen met de administratieve domeintoegangsdiensten.

Gegevensreplicatieservice

Om te voldoen aan de behoefte aan schaalbaarheid, snelle toegang en samenwerking tussen gebruikers, ondersteunen de meeste datagrids replicatie van datasets naar punten binnen de gedistribueerde opslagarchitectuur. Het gebruik van replica's geeft meerdere gebruikers snellere toegang tot datasets en het behoud van bandbreedte, aangezien replica's vaak strategisch dicht bij of binnen sites kunnen worden geplaatst waar gebruikers ze nodig hebben. Replicatie van datasets en het maken van replica's is echter gebonden aan de beschikbaarheid van opslag binnen sites en bandbreedte tussen sites. De replicatie en het maken van replicagegevenssets wordt beheerd door een replicabeheersysteem. Het replicabeheersysteem bepaalt de gebruikersbehoeften voor replica's op basis van invoerverzoeken en creëert deze op basis van beschikbaarheid van opslag en bandbreedte. Alle replica's worden vervolgens gecatalogiseerd of toegevoegd aan een directory op basis van het gegevensraster met betrekking tot hun locatie voor zoekopdracht door gebruikers. Om de taken van het replicabeheersysteem uit te voeren, moet het de onderliggende opslaginfrastructuur kunnen beheren. Het gegevensbeheersysteem zorgt er ook voor dat tijdige updates van wijzigingen aan replica's worden doorgegeven aan alle knooppunten.

Strategie voor replicatie-update

Er zijn een aantal manieren waarop het replicatiebeheersysteem de updates van replica's kan verwerken. De updates kunnen zijn ontworpen rond een gecentraliseerd model waarbij een enkele hoofdreplica alle andere bijwerkt, of een gedecentraliseerd model, waarbij alle peers elkaar bijwerken. De topologie van de plaatsing van knooppunten kan ook van invloed zijn op de updates van replica's. Als een hiërarchietopologie wordt gebruikt, zouden updates in een boomstructuur door specifieke paden stromen. In een platte topologie is het volledig een kwestie van de peerrelaties tussen knooppunten over hoe updates plaatsvinden. In een hybride topologie bestaande uit zowel platte als hiërarchische topologieën kunnen updates plaatsvinden via specifieke paden en tussen peers.

Plaatsingsstrategie voor replicatie

Er zijn een aantal manieren waarop het replicatiebeheersysteem de creatie en plaatsing van replica's kan afhandelen om de gebruikersgemeenschap zo goed mogelijk van dienst te zijn. Als de opslagarchitectuur replicaplaatsing ondersteunt met voldoende siteopslag, dan wordt het een kwestie van de behoeften van de gebruikers die toegang hebben tot de datasets en een strategie voor het plaatsen van replica's. Er zijn talloze strategieën voorgesteld en getest om de plaatsing van replica's van datasets in het dataraster het best te beheren om aan de gebruikersvereisten te voldoen. Er is niet één universele strategie die het beste bij elke behoefte past. Het is een kwestie van het type datagrid en de gebruikersgemeenschapsvereisten voor toegang die bepalen welke strategie het beste kan worden gebruikt. Er kunnen zelfs replica's worden gemaakt waarbij de bestanden worden gecodeerd voor vertrouwelijkheid, wat handig zou zijn in een onderzoeksproject dat medische bestanden behandelt. De volgende sectie bevat verschillende strategieën voor het plaatsen van replica's.

Dynamische replicatie

Dynamische replicatie is een benadering voor het plaatsen van replica's op basis van de populariteit van de gegevens. De methode is ontworpen rond een hiërarchisch replicatiemodel. Het datamanagementsysteem houdt de beschikbare opslagruimte op alle nodes bij. Het houdt ook verzoeken (hits) bij waar gegevensclients (gebruikers) in een site om vragen. Wanneer het aantal hits voor een specifieke dataset de replicatiedrempel overschrijdt, wordt er een replica op de server gemaakt die rechtstreeks de client van de gebruiker bedient. Als de directe serviceserver die bekend staat als een vader niet voldoende ruimte heeft, dan is de vader van de vader in de hiërarchie het doelwit om een ​​replica te ontvangen, enzovoort, totdat deze is uitgeput. Het algoritme van het gegevensbeheersysteem maakt ook de dynamische verwijdering mogelijk van replica's met een null-toegangswaarde of een waarde die lager is dan de frequentie van de gegevens die moeten worden opgeslagen om ruimte vrij te maken. Dit verbetert de systeemprestaties in termen van responstijd, aantal replica's en helpt bij het verdelen van de belasting over het dataraster. Deze methode kan ook dynamische algoritmen gebruiken die bepalen of de kosten van het maken van de replica de verwachte winst gezien de locatie echt waard zijn.

Adaptieve replicatie

Deze replicatiemethode, zoals die voor dynamische replicatie, is ontworpen rond een hiërarchisch replicatiemodel dat in de meeste gegevensrasters wordt aangetroffen. Het werkt op een soortgelijk algoritme als dynamische replicatie, waarbij verzoeken om toegang tot bestanden een belangrijke factor zijn bij het bepalen welke bestanden moeten worden gerepliceerd. Een belangrijk verschil is echter dat het aantal en de frequentie van het maken van replica's is afgestemd op een dynamische drempelwaarde die wordt berekend op basis van de aankomstsnelheden van verzoeken van clients gedurende een bepaalde periode. Als het aantal aanvragen gemiddeld de vorige drempel overschrijdt en een stijgende trend laat zien, en opslaggebruikspercentages aangeven dat er capaciteit is om meer replica's te maken, kunnen er meer replica's worden gemaakt. Net als bij dynamische replicatie kan het verwijderen van replica's met een lagere drempel die niet zijn gemaakt in het huidige replicatie-interval, worden verwijderd om ruimte te maken voor de nieuwe replica's.

Fair-share replicatie

Net als de eerdere adaptieve en dynamische replicatiemethoden, is fair-share-replicatie gebaseerd op een hiërarchisch replicatiemodel. Ook speelt de populariteit van bestanden, net als de twee voorgaande, een belangrijke rol bij het bepalen welke bestanden worden gerepliceerd. Het verschil met deze methode is dat de plaatsing van de replica's gebaseerd is op toegangsbelasting en opslagbelasting van kandidaat-servers. Een kandidaat-server heeft mogelijk voldoende opslagruimte, maar bedient veel clients voor toegang tot opgeslagen bestanden. Het plaatsen van een replica op deze kandidaat kan de prestaties verslechteren voor alle clients die toegang hebben tot deze kandidaat-server. Daarom wordt de plaatsing van replica's met deze methode gedaan door elk kandidaatknooppunt voor toegangsbelasting te evalueren om een ​​geschikt knooppunt voor de plaatsing van de replica te vinden. Als alle kandidaat-knooppunten gelijkwaardig zijn beoordeeld voor toegangsbelasting, geen of minder toegang dan de andere, dan wordt het kandidaat-knooppunt met de laagste opslagbelasting gekozen om de replica's te hosten. Methoden die vergelijkbaar zijn met de andere beschreven replicatiemethoden worden gebruikt om ongebruikte of minder aangevraagde replica's te verwijderen indien nodig. Replica's die zijn verwijderd, kunnen worden verplaatst naar een bovenliggend knooppunt voor later hergebruik als ze weer populair worden.

andere replicatie

De bovenstaande drie replicastrategieën zijn slechts drie van de vele mogelijke replicatiestrategieën die kunnen worden gebruikt om replica's in het gegevensraster te plaatsen waar ze de prestaties en toegang zullen verbeteren. Hieronder staan ​​enkele andere die zijn voorgesteld en getest, samen met de eerder beschreven replicatiestrategieën.

  • Statisch - gebruikt een vaste replicaset van knooppunten zonder dynamische wijzigingen in de bestanden die worden gerepliceerd.
  • Best Client – Elk knooppunt registreert het aantal verzoeken per bestand dat is ontvangen gedurende een vooraf ingesteld tijdsinterval; als het verzoeknummer de ingestelde drempel voor een bestand overschrijdt, wordt een replica gemaakt op de beste client, een die het bestand het meest heeft opgevraagd; oude replica's worden verwijderd op basis van een ander algoritme.
  • Cascading – Wordt gebruikt in een hiërarchische knooppuntstructuur waar verzoeken per bestand die gedurende een vooraf ingesteld tijdsinterval zijn ontvangen, worden vergeleken met een drempel. Als de drempel wordt overschreden, wordt er een replica gemaakt op de eerste laag vanaf de root, als de drempel opnieuw wordt overschreden, wordt een replica toegevoegd aan de volgende laag, enzovoort, als een watervaleffect totdat een replica bij de client zelf wordt geplaatst.
  • Plain Caching - Als de client een bestand opvraagt, wordt het als een kopie op de client opgeslagen.
  • Caching plus Cascading – Combineert twee strategieën van caching en cascading.
  • Fast Spread – Deze strategie wordt ook gebruikt in een hiërarchische knooppuntstructuur en vult automatisch alle knooppunten in het pad van de client die een bestand aanvraagt.

Takenplanning en toewijzing van middelen

Dergelijke kenmerken van de datagridsystemen als grote schaal en heterogeniteit vereisen specifieke methoden voor het plannen van taken en het toewijzen van middelen. Om het probleem op te lossen, gebruiken de meeste systemen uitgebreide klassieke planningsmethoden. Anderen nodigen fundamenteel andere methoden uit op basis van prikkels voor autonome knooppunten, zoals virtueel geld of de reputatie van een knooppunt. Een andere specificiteit van datagrids, dynamiek, bestaat uit het continue proces van aan- en loskoppelen van knooppunten en lokale belastingonbalans tijdens het uitvoeren van taken. Dat kan verouderde of niet-optimale resultaten van de initiële toewijzing van middelen voor een taak maken. Als gevolg hiervan maken veel van de datagrids gebruik van aanpassingstechnieken in de uitvoeringstijd waarmee de systemen kunnen reflecteren op de dynamische veranderingen: balanceer de belasting, vervang losgekoppelde knooppunten, gebruik de winst van nieuw verbonden knooppunten, herstel een taakuitvoering na fouten.

Resourcemanagementsysteem (RMS)

Het resourcemanagementsysteem vertegenwoordigt de kernfunctionaliteit van het dataraster. Het is het hart van het systeem dat alle acties met betrekking tot opslagbronnen beheert. In sommige datagrids kan het nodig zijn om een ​​gefedereerde RMS-architectuur te creëren vanwege verschillende administratieve beleidslijnen en een diversiteit aan mogelijkheden binnen de datagrid in plaats van het gebruik van een enkele RMS. In een dergelijk geval zullen de RMS'en in de federatie een architectuur gebruiken die interoperabiliteit mogelijk maakt op basis van een overeengekomen reeks protocollen voor acties met betrekking tot opslagbronnen.

RMS functionele mogelijkheden

  • Vervulling van gebruikers- en applicatieverzoeken voor gegevensbronnen op basis van type verzoek en beleid; RMS kan meerdere beleidsregels en meerdere verzoeken tegelijk ondersteunen
  • Planning, timing en creatie van replica's
  • Beleids- en beveiligingshandhaving binnen de datagridbronnen om authenticatie, autorisatie en toegang op te nemen
  • Ondersteun systemen met verschillend administratief beleid om samen te werken met behoud van de autonomie van de site
  • Ondersteun Quality of Service (QoS) indien gevraagd, indien functie beschikbaar
  • Dwing systeemfouttolerantie en stabiliteitsvereisten af
  • Beheer bronnen, dwz schijfopslag, netwerkbandbreedte en alle andere bronnen die rechtstreeks of als onderdeel van het gegevensraster samenwerken
  • Beheer vertrouwensrelaties met betrekking tot bronnen in administratieve domeinen, sommige domeinen kunnen aanvullende beperkingen opleggen aan hoe ze deelnemen, wat aanpassing van de RMS of federatie vereist.
  • Ondersteunt aanpassingsvermogen, uitbreidbaarheid en schaalbaarheid in relatie tot het dataraster.

Topologie

Mogelijke datarastertopologieën

Gegevensrasters zijn ontworpen met meerdere topologieën in gedachten om aan de behoeften van de wetenschappelijke gemeenschap te voldoen. Rechts staan ​​vier diagrammen van verschillende topologieën die in datagrids zijn gebruikt. Elke topologie heeft een specifiek doel voor ogen waar deze het beste kan worden gebruikt. Elk van deze topologieën wordt hieronder verder toegelicht.

Federatietopologie is de keuze voor instellingen die gegevens uit reeds bestaande systemen willen delen. Het geeft elke instelling controle over hun gegevens. Wanneer een instelling met de juiste autorisatie gegevens opvraagt ​​bij een andere instelling, is het aan de instelling die het verzoek ontvangt om te bepalen of de gegevens naar de verzoekende instelling gaan. De federatie kan los geïntegreerd zijn tussen instellingen, nauw geïntegreerd of een combinatie van beide.

Monadische topologie heeft een centrale repository waarin alle verzamelde gegevens worden ingevoerd. De centrale repository beantwoordt vervolgens alle vragen om gegevens. Er zijn geen replica's in deze topologie in vergelijking met andere. Gegevens zijn alleen toegankelijk vanuit de centrale repository, mogelijk via een webportaal. Een project dat deze datagrid-topologie gebruikt, is het Network for Earthquake Engineering Simulation (NEES) in de Verenigde Staten. Dit werkt goed wanneer alle toegang tot de gegevens lokaal is of binnen een enkele regio met snelle connectiviteit.

Hiërarchische topologie leent zich voor samenwerking waarbij er een enkele bron voor de gegevens is en deze naar meerdere locaties over de hele wereld moet worden gedistribueerd. Een voorbeeld van zo'n project dat profiteert van deze topologie is CERN, dat de Large Hadron Collider aanstuurt die enorme hoeveelheden gegevens genereert. Deze gegevens bevinden zich bij één bron en moeten over de hele wereld worden gedistribueerd naar organisaties die samenwerken in het project.

Hybride topologie is gewoon een configuratie die een architectuur bevat die bestaat uit een combinatie van de eerder genoemde topologieën. Het wordt meestal gebruikt in situaties waarin onderzoekers die aan projecten werken hun resultaten willen delen met verder onderzoek door het direct beschikbaar te maken voor samenwerking.

Geschiedenis

De behoefte aan data grids werd voor het eerst erkend door de wetenschappelijke gemeenschap in verband met klimaatmodellen , waarin terabyte en petabyte sized datasets werden steeds de norm voor het vervoer tussen de locaties. Meer recente onderzoeksvereisten voor datagrids zijn aangestuurd door de Large Hadron Collider (LHC) bij CERN , de Laser Interferometer Gravitational Wave Observatory (LIGO) en de Sloan Digital Sky Survey (SDSS) . Deze voorbeelden van wetenschappelijke instrumenten leveren grote hoeveelheden data op die toegankelijk moeten zijn voor grote groepen geografisch verspreide onderzoekers. Andere toepassingen van datagrids zijn overheden, ziekenhuizen, scholen en bedrijven waar inspanningen worden geleverd om de dienstverlening te verbeteren en de kosten te verlagen door toegang te bieden tot verspreide en afzonderlijke datasystemen door het gebruik van datagrids.

Vanaf het prille begin werd het concept van een Data Grid ter ondersteuning van de wetenschappelijke gemeenschap gezien als een gespecialiseerde uitbreiding van het "grid", dat zelf eerst werd gezien als een manier om supercomputers aan metacomputers te koppelen. Dat was echter van korte duur en het netwerk evolueerde naar de mogelijkheid om computers overal op internet aan te sluiten om toegang te krijgen tot alle gewenste bestanden en bronnen, vergelijkbaar met de manier waarop elektriciteit via een net wordt geleverd door simpelweg een apparaat aan te sluiten. Het apparaat krijgt elektriciteit via zijn aansluiting en de aansluiting is niet beperkt tot een specifiek stopcontact. Hieruit werd het dataraster voorgesteld als een integrerende architectuur die in staat zou zijn om bronnen voor gedistribueerde berekeningen te leveren. Het zou ook in staat zijn om talloze tot duizenden zoekopdrachten tegelijkertijd te verwerken en voor elke zoekopdracht gigabytes tot terabytes aan gegevens te leveren. Het datagrid zou zijn eigen beheerinfrastructuur omvatten die in staat is om alle aspecten van de prestaties en werking van de datagrids over meerdere wide area-netwerken te beheren, terwijl het werkt binnen het bestaande raamwerk dat bekend staat als het web.

De datagrid is recenter ook gedefinieerd in termen van bruikbaarheid; wat moet een datagrid kunnen om nuttig te zijn voor de wetenschappelijke gemeenschap. Voorstanders van deze theorie kwamen tot verschillende criteria. Ten eerste moeten gebruikers in staat zijn om toepasselijke bronnen binnen het dataraster te zoeken en te ontdekken uit de vele datasets. Ten tweede moeten gebruikers in het dataraster datasets kunnen lokaliseren die het meest geschikt zijn voor hun behoefte uit een groot aantal replica's. Ten derde moeten gebruikers in staat zijn om in korte tijd grote datasets tussen punten te verplaatsen en te verplaatsen. Ten vierde moet het dataraster een middel bieden om meerdere kopieën van datasets binnen het dataraster te beheren. En tot slot moet het datagrid beveiliging bieden met gebruikerstoegangscontroles binnen het datagrid, dat wil zeggen welke gebruikers toegang hebben tot welke gegevens.

Het datagrid is een evoluerende technologie die blijft veranderen en groeien om te voldoen aan de behoeften van een groeiende gemeenschap. Een van de eerste programma's waarmee begonnen werd om datagrids te realiseren, werd in 1997 gefinancierd door het Defense Advanced Research Projects Agency (DARPA) van de Universiteit van Chicago . Dit door DARPA voortgebrachte onderzoek is verder gegaan op het pad naar het creëren van open source-tools die datagrids mogelijk maken. Naarmate er nieuwe vereisten voor datagrids ontstaan, zullen projecten zoals de Globus Toolkit ontstaan ​​of uitbreiden om de kloof te dichten. Gegevensrasters samen met het "Grid" zullen blijven evolueren.

Opmerkingen:

Referenties

  • Allcock, Bill; Chervenak, Ann; Foster, Ian; Kesselman, Carl; Livny, Miron (2005). "Data Grid-tools: wetenschap mogelijk maken op grote gedistribueerde gegevens". Journal of Physics: Conference Series . 16 (1): 571-575. Bibcode : 2005JPhCS..16..571A . CiteSeerX  10.1.1.379.4325 . doi : 10.1088/1742-6596/16/1/079 .
  • Allcock, Bill; Foster, Ian; Nefedova, Veronika l; Chervenak, Ann; Deelman, Ewa; Kesselman, Carl; Lee, Jason; Sim, Alex; Shoshani, Arie; Drach, Bob; Williams, Dean (2001). "High-performance externe toegang tot klimaatsimulatiegegevens: een uitdaging voor datagridtechnologieën". ACM Druk op . CiteSeerX  10.1.1.64.6603 . Cite journaal vereist |journal=( hulp )
  • Epimachov, Igor; Hameurlain, Abdelkader; Dillon, Tharam; Morvan, Franck (2011). "Resource Scheduling Methoden voor query-optimalisatie in Data Grid Systems". Vooruitgang in databases en informatiesystemen. 15e Internationale Conferentie, ADBIS 2011 . Wenen, Oostenrijk: Springer Berlin Heidelberg. blz. 185-199. doi : 10.1007/978-3-642-23737-9_14 .
  • Krauter, Klaus; Buyya, Rajkumar; Maheswaran, Muthucumaru (2002). "Een taxonomie en overzicht van grid resource management systemen voor distributed computing". Software Praktijk en Ervaring (SPE) . 32 (2): 135-164. CiteSeerX  10.1.1.38.2122 . doi : 10.1002/spe.432 . S2CID  816774 .


  • Lamehamedi, Houda; Szymanski, Boleslaw; Shentu, Zujun; Deelman, Ewa (2002). "Data replicatie strategieën in grid-omgevingen". Vijfde internationale conferentie over algoritmen en architecturen voor parallelle verwerking (ICA3PP'02) . Druk op. blz. 378-383. CiteSeerX  10.1.1.11.5473 .
  • Ranganathan, Kavitha; Foster, Ian (2001). "Het identificeren van dynamische replicatiestrategieën voor een dataraster met hoge prestaties". In Proc. van de International Grid Computing Workshop . blz. 75-86. CiteSeerX  10.1.1.20.6836 . doi : 10.1007/3-540-45644-9_8 .

Verder lezen

  • Hancock, B. (2009). "Een eenvoudig dataraster met behulp van het inferno-besturingssysteem". Bibliotheek Hi-Tech . 27 (3): 382-392. doi : 10.1108/07378830910988513 .
  • Rajkumar, Kettimuthu; Allcock, William; Liming, Lee; Navarro, John-Paul; Foster, Ian (30 maart 2007). "GridCopy gegevens snel op het raster verplaatsen" (PDF) . Internationaal symposium over parallelle en gedistribueerde verwerking (IPDPS 2007) . Long Beach: IEEE International. blz. 1-6 . Ontvangen 29 april 2012 .