Grid beräkning

Grid computing är en teknik som tillåter koordinerad användning av heterogena resurser (inklusive processorer, lagring och specifika applikationer ) som inte är föremål för centraliserad kontroll. Det är en form av distribuerad beräkning , där de deltagande noderna kan ha samma eller olika arkitekturer och täcka hela utbudet av datorkraft, från inbäddade till superdatorer.

System som är en del av en mesh-topologi är sammankopplade av wide area-nätverk (till exempel Internet ). Utvecklad inom vetenskapliga områden i början av 1990-talet, dess inträde på den kommersiella marknaden följde idén om så kallad computing on demand .

Termen mesh syftar på en infrastruktur som möjliggör integration och kollektiv användning av högpresterande datorer , nätverk och databaser som ägs och hanteras av olika institutioner. Eftersom samarbete mellan institutioner innebär utbyte av data, eller beräkningstid, är syftet med mesh-nätverket att underlätta integrationen av beräkningsresurser. Universitet , forskningslaboratorier eller företag samarbetar för att bilda maskor för vilka de använder någon typ av programvara som implementerar detta koncept.

Inom grid computing kan nätverk ses som en form av distribuerad beräkning där en "virtuell superdator" består av en serie datorer som är grupperade för att utföra stora uppgifter.

Vad är?

Vi kallar mesh för det distribuerade beräkningssystemet som tillåter icke-geografiskt fokuserad resursdelning för att lösa storskaliga problem. Delade resurser kan vara datorer (PC, arbetsstationer , superdatorer, handdatorer , bärbara datorer , mobiler , etc.), programvara , data och information , specialinstrument ( radio , teleskop , etc.) eller människor/samarbetspartners.

Grid computing erbjuder många fördelar jämfört med andra alternativa tekniker. Kraften som erbjuds av en mängd datorer anslutna i ett nätverk med hjälp av ett mesh är praktiskt taget obegränsad, förutom att erbjuda en perfekt integration av heterogena system och enheter, så anslutningar mellan olika maskiner kommer inte att skapa några problem. Det är en mycket skalbar, kraftfull och flexibel lösning, eftersom den kommer att undvika problem med brist på resurser (flaskhalsar) och den blir aldrig föråldrad, på grund av möjligheten att ändra antalet och egenskaperna hos dess komponenter.

Dessa resurser distribueras i nätverket på ett transparent sätt men med säkerhetsriktlinjer och förvaltningspolicyer av både teknisk och ekonomisk karaktär. Dess mål kommer därför att vara att dela en serie nätverksresurser på ett enhetligt, säkert, öppet, effektivt och tillförlitligt sätt, och erbjuda en enda åtkomstpunkt till en uppsättning resurser som är geografiskt fördelade på olika administrationsdomäner. Detta kan få oss att tro att Grid computing tillåter skapandet av virtuella företag. Det är viktigt att veta att en mesh är en uppsättning distribuerade maskiner som hjälper till att förbättra arbetet med tung programvara.

Hur fungerar det?

Driften av grid computing kräver mellanprogram och gränssnitt (noder) för att säkerställa kommunikation mellan distribuerad utrustning . Ett annat element är sökmotorn, eftersom detta inte bara hjälper användaren att hitta den data de behöver, utan de kommer också att hitta verktygen för att analysera den och den datorkraft som krävs för att utföra operationerna.

Som en allmän regel börjar grid computing med installation av programvara på klientdatorerna, som ansvarar för att ladda ner en del av den totala projektuppgiften. Denna programvara använder datorn när den inte används, eller använder de resurser som datorn inte använder för närvarande för att inte störa användarens normala arbete. När processen är klar skickar programvaran resultaten till en central server och börjar ladda ner nästa uppgift du behöver utföra. Ju fler användare installerar programvaran på sina datorer, desto fler element läggs till i nätverket och beräkningsprocessen blir snabbare.

Arkitektur

Gridberäkningsarkitekturen beskrivs av lager, där vart och ett av dessa lager har specifika funktioner. Tack vare denna arkitektur har grid computing använts för uppgifter inom vetenskaps- och forskningsområdet. Nämnda arkitektur är baserad på protokoll, vilket innebär att användare mellan varje nivå kan hantera villkor för att fullt ut utnyttja den delade användningen av resurser.

• På infrastrukturnivå, även kallad fabrik, finns beräkningsresurserna, såsom servrar, databaser, etc. Likaså ingår kontroll- och förvaltningsmekanismer.
• Anslutningsnivån tillhör kommunikations- och säkerhetsprotokollen , som används för att tillåta fysiska resurser att kommunicera, bland dessa protokoll är SSL-protokollet, X.509-certifikat och TCP/IP-protokollstacken. Säkerhet blir en mycket viktig punkt, eftersom resurser kan delas mellan flera organisationer, som kan ha sina egna säkerhetspolicyer.
• Inom resursnivån utförs förhandling, styrning och övervakning av en specifik resurs, såväl som all dess information, det är också där resursens styr- och övervakningsprotokoll exekveras.
• På resursnivån finns alla tjänster som kan hanteras, i dessa tjänster kan du hitta katalogtjänsten, denna tjänst är det som gör att användaren kan hitta resurser av intresse. Det finns också distribuerade schemaläggare, som ansvarar för att tilldela uppgifter till var och en av resurserna.
• Slutligen är applikationsskiktet där protokollen för nämnda skikt tillåter applikationer att komma åt infrastrukturen för nätdatorer. Beroende på typ av applikation kan det vara nödvändigt att ansluta till de olika lagren eller direkt komma åt ett av dem, eller till och med få direkt tillgång till infrastrukturen.

Historik

Termen grid computing uppstod i början av 1990-talet som en metafor för att göra åtkomst till datorkraft lika lätt som att komma åt ett elnät. Rutnätsmetaforen för tillgänglig datoranvändning blev snabbt kanonisk när Ian Foster och Carl Kesselman publicerade sitt framstående verk, The Grid: Blueprint for a new computer infrastructure 1999.

Idéerna med grid computing (inklusive de för distribuerad datoranvändning, objektorienterad programmering och webbtjänster) sammanfördes av Ian Foster , Carl Kesselman och Steve Tuecke , känd som grid computing. De ledde arbetet med att skapa Globus Toolkit som innehåller inte bara datorhantering utan även lagringshantering, säkerhetsförsörjning, dataförflyttning, övervakning och en uppsättning verktyg för att utveckla ytterligare tjänster. baserade på samma infrastruktur, inklusive förhandlingen av avtal, anmälningsmekanismer, aktiveringstjänster och informationsaggregation. Medan Globus Toolkit förblir de facto-standarden för nätverkslösningar, har andra verktyg skapats för att hantera ett antal tjänster som behövs för att skapa ett företags- eller globalt nätverk.

2007 blev termen cloud computing populär, vilket konceptuellt liknar Fosters kanoniska definition av grid computing (när det gäller förbrukade datorresurser som elektricitet i ett elnät).

Nyheter

Det finns många projekt som har utvecklats längs dessa linjer, som Edonkey , Emule eller Limewire . Det här är program för att dela data globalt mellan olika maskiner. Mesh-nätverk och P2P har mycket gemensamt, särskilt den grundläggande idén med resursdelning. Bland de olika egenskaperna kan vi se P2P som mer anonymt och generaliserat i internetanvändares datorer, medan maskorna föds från en mer kontrollerad och hierarkisk struktur av noder i vetenskapliga centra. En första erfarenhet var GriPhyN , att förena noder i processen med högenergifysik i USA.

Skärmdump av SETI@home- klientprogramvaran

Ett annat mycket viktigt projekt är SETI@home . Den har tusentals datorer spridda över Internet som ger upp tid från sina processorer, inaktiva processcykler, för att analysera signaler som letar efter utomjordiska intelligenta mönster. Men dess användning har också stått ut i forskningscentra sedan slutet av 1990-talet i projekt som sträcker sig från partikelfysik till astrofysik eller till och med biologi. I Europa skapades programvaran och nätverket EDG (European Data Grid) med stöd av projekt från European Centre for Nuclear Research och European Framework Programme . Användningen av grid computing inom dessa områden har sett exponentiell förbättring under de senaste åren.

De företag och institutioner som har deltagit i utvecklingen av dessa teknologier vill gå in i ett stadium av kommersiell exploatering så snart som möjligt. Företag som Microsoft och Sun Microsystems har insett vikten av att erbjuda grid computing till sina kunder på medellång sikt. Vi lyfter fram IBMs roll att investera i maskor som en plattform för att erbjuda sina kunder fördelar som att spara tid och ekonomiska resurser.

Det finns flera affärslösningar i form av företag, till exempel:

• Enterprise Grid Alliance (EGA): Det skapades i Kalifornien i april 2004 av en grupp ledande teknikföretag för att utveckla affärs- och företagslösningar för distribuerad datoranvändning och för att påskynda implementeringen av denna teknik i företag. Det är ett öppet konsortium fokuserat på utveckling och marknadsföring av företagsnätlösningar.
• Sun Microsystems - Suns Grid Engine -programvara gör det enkelt att lägga till maskiner till nätet och drar automatiskt fördel av ökad kraft , vilket sparar tid och resurser genom snabb, effektiv och pålitlig mesh-nätverk för hantering och driftsättning.
• Andago : i syfte att föra mesh-topologin närmare industriella och affärsmiljöer, lade Andago till sin erfarenhet av Grid-projekt till sitt utbud av lösningar.
• JPPF : JPPF-programvaran gör det möjligt för applikationer med höga bearbetningskrav att exekveras på flera datorer med olika heterogena egenskaper tack vare sin Java-baserade arkitektur, på ett skalbart sätt (genom att lägga till eller minska deltagande datorer) på ett dynamiskt sätt, distribuera applikationen i uppgifter .

Det finns olika mellanprogram med mycket varierande möjligheter och funktionaliteter som, beroende på komplexiteten, tjänsterna som erbjuds och dimensionen på det mesh-nätverk som ska implementeras, kommer det ideala alternativet att väljas. Mellanvarulösningarna , alla med öppen källkod , som används (till exempel av Andago) är: EGEE för stora projekt, Globus Solutions för medelstora projekt, Grid Engine för små implementeringar.

Marknadssegmentering inom grid computing

För segmenteringen av grid-datormarknaden måste vi överväga två perspektiv: leverantörssidan och användarsidan.

Leverantörsdelen

Hela marknaden för nätdatorer spänner över flera nischmarknader. Dessa är marknaden för middleware , marknaden för möjliggörande applikationer, marknaden för computing on demand och marknaden för mjukvara som en tjänst (SaaS). Mesh -mellanvara är en specifik mjukvaruprodukt som möjliggör heterogen resursdelning och virtuella organisationer . Den är installerad och integrerad i den eller de inblandade företagens befintliga infrastruktur och ger ett speciellt lager ovanpå den heterogena infrastrukturen och användarspecifika applikationer. Den huvudsakliga mellanvaran är Globus Toolkit, gLite och UNICORE .

On-demand computing hänvisar till tillhandahållande av grid computing och applikationer som en tjänst antingen som ett öppet nätverktyg eller värdlösning för en organisation eller virtuell organisation (VO). Stora konkurrenter på on-demand-datormarknaden är Sun Microsystems , IBM och HP .

Mesh-aktiverade applikationer är specifika program som kan använda mesh-infrastrukturen. Detta är möjligt genom att använda mesh -mellanvaran .

Software as a Service ( SaaS) är " programvara som ägs på distans, tillhandahålls och hanteras av en eller flera leverantörer." ^{[ citat behövs ]} Dessutom är SaaS-applikationer baserade på en enda uppsättning gemensamma kod- och datadefinitioner. De konsumeras i en en-till-många-modell, och använder en prenumerationsmodell för att betala efter hand. SaaS-leverantörer äger inte nödvändigtvis de datortillbehör som krävs för att köra deras SaaS. On-demand-datormarknaden tillhandahåller datortillbehör för SaaS-leverantörer.

Användardelen

För företag som efterfrågar det eller användare av grid-datormarknaden har de olika segmenten betydande konsekvenser för din IT-distributionsstrategi. IT-distributionsstrategin såväl som typen av IT-investeringar som görs är relevanta aspekter för potentiella mesh-användare och spelar en viktig roll i införandet av denna teknik.

Funktioner

• Balanseringssystemkapacitet: Det skulle inte finnas något behov av att beräkna systemkapacitet baserat på toppbelastningar, eftersom kapacitet kan omfördelas från resursfarmen till där den behövs;
• Hög tillgänglighet. med den nya funktionen, om en server misslyckas, omtilldelas tjänster på de återstående servrarna;
• Kostnadsminskning: med denna arkitektur hanteras tjänsterna av "resursgårdar". Det är inte längre nödvändigt att ha "stora servrar" och vi kan använda oss av lågkostnadskomponenter. Varje system kan konfigureras enligt samma mönster;

Mesh-konceptet är relaterat till den nya generationen av internetprotokollet . Det nya Internetprotokollet IPv6 kommer att göra det möjligt att arbeta med ett snabbare och mer tillgängligt Internet. En av nyckelidéerna för att övervinna de nuvarande begränsningarna för IPv4- internet är uppkomsten av nya servicenivåer som kommer att utnyttja nätverkets nya kapacitet för att kommunicera datorer.

Detta framsteg inom kommunikation kommer att möjliggöra utvecklingen av grid computing-idéer genom att använda Internets mycket höga anslutningsbarhet som stöd. Det är därför ett av de mest innovativa områdena inom användningen av mesh computing, utanför supercomputing-koncept, är utvecklingen av en standard för att definiera mesh-tjänster kontra webbtjänster.

Klassificering baserat på deras egenskaper

1. Intragrid: de fokuserar på samma företag med heterogena resurser och använder sig av LAN-nätverk, så det finns färre säkerhets- och tillförlitlighetsproblem .
2. Intergrid: de fokuserar på flera företag, så flera administrativa domäner krävs, WAN-anslutningar används, så säkerhet och tillförlitlighet blir en mycket viktig punkt.

Nackdelar

Grid computing har dock några nackdelar som måste åtgärdas. Dessa problem är:

• Heterogena resurser: nätverket måste kunna hantera alla typer av resurser som systemet hanterar, annars blir det totalt värdelöst.
• Upptäckt, urval, reservation, tilldelning, förvaltning och övervakning av resurser är processer som måste styras externt och som påverkar driften av nätverket.
• Behov av att utveckla applikationer för att hantera nätverket, samt utveckling av effektiva modeller för användning.
• Långsam och inkonsekvent kommunikation .
• Organisatoriskt: administrationsdomäner, verksamhetsmodell och kostnader, säkerhetspolicy...
• Ekonomiskt: pris på resurser, utbud/efterfrågan

Fördelar och krav

Grid computing är ett framsteg över World Wide Web . Detta ger transparent åtkomst till information som lagras på miljontals datorer runt om i världen. Däremot är mesh-nätverket en ny infrastruktur som ger transparent tillgång till datorkraft och lagringskapacitet distribuerad av en organisation eller över hela världen.

Kraven som alla mesh-nätverk måste uppfylla är:

Uppgifterna måste delas mellan tusentals användare med olika intressen. Stora superdatorcenter måste länkas ihop, inte bara datorer. Det måste säkerställas att uppgifterna är tillgängliga var som helst och när som helst. Du måste harmonisera de olika förvaltningspolicyerna för många olika centra. Du måste ställa säkerhet.

Och de erhållna fördelarna:

• Det ger en transparent samarbetsmekanism mellan spridda grupper, både vetenskapliga och kommersiella.
• Det möjliggör drift av storskaliga applikationer.
• Det underlättar åtkomst till distribuerade resurser från våra datorer.
• Alla dessa mål och fördelar ingår i idén om "e-Science".

Dessa fördelar kommer att få återverkningar på många områden:

• Medicin (avbildning, diagnos och behandling).
• Bioinformatik (studier i genomik och proteomik ).
• Nanoteknik (design av nya material i molekylär skala).
• Engineering (design, simulering, felanalys och fjärråtkomst till styrinstrument).
• Naturresurser och miljö ( väderprognoser , planetobservation, modeller och förutsägelser av komplexa system).

Tekniken som härrör från nätet öppnar ett enormt utbud av möjligheter för utveckling av applikationer inom många sektorer. Till exempel: vetenskaplig och teknisk utveckling, utbildning, hälsa och offentlig förvaltning.

Jämförelse mellan rutnät och konventionella superdatorer

Grid computing, i allmänhet, är en speciell typ av parallell beräkning som är baserad på kompletta datorer (med CPU, lagring, strömförsörjning, nätverksgränssnitt, etc.) anslutna till ett nätverk (privat, offentligt eller internet) via ett konventionellt nätverk gränssnitt genom att tillhandahålla enkel hårdvara, jämfört med lågeffektiv design och konstruktion av ett litet antal anpassade superdatorer. Den största prestandanackdelen är att de olika processorerna och lokala lagringsområdena inte har höghastighetsanslutningar. Denna sammansättning är lämplig för applikationer där flera parallella beräkningar kan ske oberoende av varandra, utan att behöva kommunicera omedelbara resultat mellan processorer. ]

Det finns också vissa skillnader i programmering och distribution. Att skriva program som ska köras i en superdatormiljö kan vara dyrt och komplicerat, vilket kan ha ett anpassat operativsystem eller kräva ett program för att hantera samtidighetsproblem. Om ett problem kan parallelliseras ordentligt, kan ett "tunt" lager av mesh-infrastruktur tillåta konventionella, fristående program att köras på flera maskiner. Detta gör det möjligt att skriva och felsöka på en enda konventionell maskin, och eliminerar komplikationer på grund av flera instanser av samma program som körs på samma delade minne och lagringsutrymme samtidigt.

Användningsområden

Fem arbetsområden ska definieras, bestämt av beräkningsbehov, utrymme för datalagring och svarstid. Dessa fem huvudområden är:

1. Distribuerad supercomputing: Tillämpningar som är omöjliga att tillfredsställa i en enda nod hittas, eftersom behoven för dessa applikationer uppstår vid vissa tidpunkter, vilket kräver många resurser. Några exempel på dessa applikationer är simuleringar, numeriska beräkningsverktyg, dataanalysprocesser, utvinning av kunskap från datalager, bland annat. Med detta i åtanke kan man konstatera att det med hjälp av grid computing är möjligt att skapa en kraftfull maskin som kan lösa problem som bara en superdator skulle kunna lösa, vilket i sin tur minskar kostnaderna, ger högre hastighet, förbättrar produktions- och servicetider ...
2. Realtidsdistribuerade system: det finns applikationer som genererar data med höga hastigheter i realtid, så det är nödvändigt att dessa data bearbetas i realtid, såsom högenergifysikexperiment, fjärrkontroll av medicinsk utrustning med hög precision, etc. . Bearbetning av dessa data i realtid är möjlig eftersom, med hjälp av grid computing, de nödvändiga fysiska resurserna finns tillgängliga för att möta behoven för denna typ av applikation, vilket underlättar processer genom flexibilitet och samarbete mellan användare genom att tillhandahålla tekniska resurser, data, bearbetning och förvaring.
3. Intensiv databehandling: Distribuerade databassystem kräver ett stort lagringsutrymme och i många fall finns det inte tillräckligt med kapacitet i en enda dator, det är där grid computing hjälper till att öka lagringskapaciteten, utan ökade kostnader, på så sätt distribueras data runt hela rutnätet, att kunna komma åt dessa data från vilken geografisk punkt som helst, eftersom dessa data är distribuerade över rutnätet.
4. Samverkande virtuella miljöer: detta är ett område associerat med teleimmersion, där de stora resurserna som erbjuds av grid computing används för att generera distribuerade 3D-miljöer. Det är svårt att ha de nödvändiga egenskaperna hos både mjukvara och hårdvara för att utföra den här typen av uppgifter eftersom den nödvändiga infrastrukturen inte är tillgänglig eller kostnaderna är mycket höga, vilket är anledningen till att grid computing blir ett mycket användbart verktyg för att få ut det mesta av de olika maskinerna kopplade till den gråa och därmed tillgodose behoven för dessa applikationer.
5. Specifika tjänster: inom detta område erbjuds resurser som en organisation kan anse vara onödiga, så grid computing kan erbjuda dessa resurser utan att organisationen behöver utveckla dem själv. Några av exemplen är applikationer som tillåter åtkomst till mycket specifik hårdvara. När ett företag inte har den nödvändiga hårdvaran kan de ta till andra alternativ som inte innebär direktköp av resursen i fråga, vilket kan bidra till att minska kostnaderna genom att ha den nödvändiga utrustningen tillgänglig för att utföra den specifika uppgiften.

Snabbaste virtuella superdatorer

• April 2013, Folding@home – 11,4 x86-ekvivalenter (5,8 "native") PFLOPS. ]
• Mars 2013, BOINC – bearbetning i genomsnitt 9,2 PFLOPS. ]
• April 2010, MilkyWay@Home beräknar runt 1,6 PFLOPS, med en stor mängd arbete som faller på GPU:er. ]
• April 2010, SETI@Home beräknar datamedelvärden större än 730 TFLOPS. ]
• April 2010, Einstein@Home körs på över 210 TFLOPS. ]
• Juni 2011, GIMPS bearbetar 61 TFLOPS. ]

Senaste anteckningar

Kort sagt, vi står inför ett mycket mångsidigt och skalbart distribuerat datorparadigm som gör att kraften hos många enheter kan kombineras för att uppnå en praktiskt taget obegränsad global kapacitet. Dess främsta nackdelar kommer från svårigheten att synkronisera processerna för alla dessa team, övervaka resurser, tilldela arbetsbelastningar och upprätta tillförlitliga IT-säkerhetspolicyer.

Det är ett beräkningsparadigm under utveckling som redan erbjuder tjänster till många forskningsområden och som i framtiden kommer att ha ett ännu större inflytande på dessa områden, eftersom det har en utvecklad struktur jämfört med den nuvarande, med större robusthet, mycket snabbare när det gäller kommunikation mellan sina datorer och, uppenbarligen, med en större beräkningskapacitet för varje maskin på grund av utvecklingen när det gäller hårdvarubearbetning och prestanda.

Se även

Allianser och organisationer

• Open Grid Forum (tidigare Global Grid Forum )
• Objekthanteringsgrupp

Produktionsnätverk

• European Grid Infrastructure
• Aktivera rutnät för e-vetenskap
• INFN produktionsnät
• NorduGrid
• OurGrid
• Sun Grid
• tak
• Xgrid

Internationella projekt

namn	Område	Start	Slutet
Open Middleware Infrastructure Institute Europe (OMII-Europe)	Europa	maj 2006	maj 2008
Aktivera nät för e-vetenskap (EGEE, EGEE II och EGEE III)	Europa	mars 2004	april 2010
Grid-aktiverad fjärrinstrumentering med distribuerad kontroll och beräkning (GridCC)	Europa	september 2005	september 2008
European Middleware Initiative (EMI)	Europa	maj 2010	aktiva
KnowARC	Europa	juni 2006	november 2009
Nordic Data Grid Facility	Skandinavien och Finland	juni 2006	december 2012
World Community Grid	Global	november 2004	aktiva
XtreemOS	Europa	juni 2006	(maj 2010) ankn. från och med september 2010
OurGrid	Brasilien	december 2004	aktiva

Referenser

• DH Benjamín, "Distributed computing: grid computing", examensarbete, University of San Carlos de Guatemala, Guatemala, oktober 2005. Tillgång: mars 2021.
• GE Juan Manuel och JB David Eduardo, "Grid computing", avhandling, Technological University of Bolívar, Cartagena, 2011. Åtkomst: mars 2021.
• CA César Fernando och GM Luisa María, "Karakteristika för grid computing och dess relation med systemteknik och beräkningar vid Technological University of Pereira", Monograph, Technological University of Pereira", Pereira, 2011. Åtkomst: mars 2021.
• A. Pablo och G. Estevan, "Clustering och grid computing i högtillgänglighetssystem för webb- och e-posttjänster", onlinedokument, tillgängligt på: https://www.researchgate.net/publication/276058088_CLUSTERING_Y_GR ID_COMPUTING_EN_SISTEMAS_DE_ALTA_DISPOBILIDAD_CIAvedrie, March: March: ret. , 2021.
• "Distributed Computing", webbplats [online], tillgänglig på: http://185.5.126.23/innowiki/index.php/Computaci%C3%B3n_distribuida#:~: text=La%20computaci%C3%B3n%20distribuida% 20o% 20beräkning%C3%B3n,för%20ett%20nätverk%20av%20kommunikation.&text=Jo%20det%20många%20mini%2Dgrids%20för%20%20utvecklingen%20av%20forskning%C3%B3n. Tillträde: mars 2021.
• A. Gladys Carolina, "Grid computing", Assignment Monograph, Universidad Nacional del Nordeste, Argentina, 2005. Åtkomst: mars 2021.