ModelOps - ModelOps
ModelOps (modelové operace), jak jej definuje Gartner, „se zaměřuje především na správu a řízení životního cyklu široké škály operacionalizované umělé inteligence (AI) a rozhodovacích modelů, včetně strojového učení, znalostních grafů, pravidel, optimalizace, lingvistických a modely založené na agentech “. „ModelOps leží v srdci každé podnikové strategie AI“. Organizuje životní cykly modelu všech modelů ve výrobě napříč celým podnikem, od uvedení modelu do výroby, poté vyhodnocení a aktualizaci výsledné aplikace podle sady pravidel správy, včetně technických i obchodních KPI. Poskytuje odborníkům v oboru podnikání schopnost hodnotit modely AI ve výrobě, a to nezávisle na datových vědcích.
Článek ve Forbesu propagoval ModelOps: „Jak podniky rozšiřují své iniciativy AI, aby se staly skutečnou organizací Enterprise AI, díky plné funkcionalizované analytické schopnosti staví ModelOps do centra a propojuje DataOps i DevOps.“
Dějiny
V průzkumu společnosti Gartner z roku 2018 uvedlo 37% respondentů, že umělou inteligenci v nějaké formě nasadili; Gartner však poukázal na to, že podniky jsou stále daleko od implementace AI, s odvoláním na výzvy nasazení. Podniky hromadily nenasazené, nevyužité a neobnovené modely a byly ručně nasazeny, často na úrovni obchodní jednotky, čímž se zvýšila expozice rizika celého podniku. Nezávislá analytická firma Forrester se také tímto tématem zabývala ve zprávě o strojovém učení a prodejcích prediktivní analýzy z roku 2018: „Datoví vědci si pravidelně stěžují, že jejich modely jsou nasazeny jen někdy nebo nikdy. Velkou součástí problému je organizační chaos v porozumění tomu, jak aplikovat a navrhovat modely do aplikací. Další velkou součástí problému je však technologie. Modely nejsou jako softwarový kód, protože potřebují správu modelů. “
V prosinci 2018 navrhli Waldemar Hummer a Vinod Muthusamy z IBM Research AI ModelOps jako „programovací model pro opakovaně použitelné, na platformě nezávislé a skládatelné pracovní postupy AI“ v den IBM Programming Languages Day. Ve své prezentaci si všimli rozdílu mezi životním cyklem vývoje aplikací, představovaným DevOps , a životním cyklem aplikace AI.
Cílem vývoje ModelOps bylo řešit mezeru mezi nasazením modelu a správou modelů, zajistit, aby všechny modely běžely v produkci se silnou správou, sladěnou s technickými a obchodními KPI, a zároveň řídit riziko. Ve své prezentaci Hummer a Muthusamy popsali programové řešení pro fázové nasazení s vědomím AI a opakovaně použitelné komponenty, které by umožnily modelovým verzím odpovídat podnikovým aplikacím a které by zahrnovaly koncepty modelu AI, jako je monitorování modelu, detekce driftu a aktivní učení. Řešení by také řešilo napětí mezi výkonem modelu a obchodními klíčovými ukazateli výkonu (KPI), protokoly aplikací a modelů a zástupci modelů a vyvíjejícími se politikami. Součástí návrhu byly různé cloudové platformy. V červnu 2019 Hummer, Muthusamy, Thomas Rausch, Parijat Dube a Kaoutar El Maghraoui představili příspěvek na mezinárodní konferenci IEEE 2019 o cloudovém inženýrství (IC2E). Dokument rozšířil svoji prezentaci v roce 2018 a navrhl ModelOps jako cloudový rámec a platformu pro end-to-end vývoj a správu životního cyklu aplikací umělé inteligence (AI). V abstraktu uvedli, že rámec ukáže, jak je možné rozšířit principy správy životního cyklu softwaru tak, aby umožňoval automatizaci, důvěryhodnost, spolehlivost, sledovatelnost, kontrolu kvality a reprodukovatelnost potrubí modelu AI. V březnu 2020 společnost ModelOp, Inc. zveřejnila první komplexní průvodce metodikou ModelOps. Cílem této publikace bylo poskytnout přehled schopností ModelOps, stejně jako technické a organizační požadavky pro implementaci postupů ModelOps.
V říjnu 2020 spustila ModelOp ModelOp.io , online centrum pro zdroje ModelOps a MLOps. Spolu se spuštěním tohoto webu společnost ModelOp vydala šablonu Žádost o návrh (RFP). Na základě rozhovorů s průmyslovými odborníky a analytiky byla tato šablona RFP navržena tak, aby splňovala funkční požadavky řešení ModelOps a MLOps.
Případy užití
Jeden typický případ použití ModelOps je v sektoru finančních služeb, kde se stovky modelů časových řad používají k zaměření na přísná pravidla zaujatosti a auditovatelnosti. V těchto případech je zásadní spravedlnost a robustnost modelu, což znamená, že modely musí být spravedlivé a přesné a musí běžet spolehlivě. ModelOps automatizuje životní cyklus modelu u modelů ve výrobě. Taková automatizace zahrnuje návrh životního cyklu modelu, včetně technických a obchodních KPI a limitů KPI a prahových hodnot, pro řízení a monitorování modelu, jak běží, monitorování modelů pro zkreslení a další technické a obchodní anomálie a aktualizace modelu podle potřeby bez narušení aplikace. ModelOps je dispečer, který udržuje všechny vlaky v provozu včas a na správné cestě a zajišťuje kontrolu rizik, dodržování předpisů a obchodní výkon.
Dalším případem použití je monitorování hladiny cukru v krvi diabetika na základě údajů pacienta v reálném čase. Model, který dokáže předpovědět hypoglykémii, musí být neustále obnovován aktuálními daty, obchodní KPI a anomálie by měly být průběžně sledovány a musí být k dispozici v distribuovaném prostředí, takže informace jsou k dispozici na mobilním zařízení i ve zprávách do většího systému. Orchestrace, správa, rekvalifikace, monitorování a osvěžení se provádí pomocí ModelOps.
Proces ModelOps
Proces ModelOps se zaměřuje na automatizaci správy, správy a monitorování modelů ve výrobě v celém podniku, což umožňuje vývojářům AI a aplikací snadno zapojit funkce životního cyklu (jako je detekce zkreslení, robustnost a spolehlivost, detekce driftu, technické, obchodní a shody KPI, regulační omezení a schvalovací toky) pro uvedení modelů AI do výroby jako obchodních aplikací. Proces začíná standardním znázorněním kandidátských modelů pro produkci, který zahrnuje metamodel (specifikace modelu) se všemi komponentami a závislými částmi, které vstupují do vytváření modelu, jako jsou data, hardwarové a softwarové prostředí, klasifikátory, a kódové zásuvné moduly, a co je nejdůležitější, obchodní klíčové ukazatele výkonu a dodržování předpisů / rizika.
ModelOps: Vývoj MLOps
MLOps (operace strojového učení) je obor, který umožňuje vědcům v oblasti dat a IT profesionálům spolupracovat a komunikovat při automatizaci algoritmů strojového učení. Rozšiřuje a rozšiřuje principy DevOps na podporu automatizace vývoje a nasazení modelů a aplikací strojového učení. V praxi MLOps zahrnuje modely rutinního strojového učení (ML). Rozmanitost a použití modelů se však změnily, aby zahrnovaly modely optimalizace rozhodování, optimalizační modely a transformační modely, které se přidávají do aplikací. ModelOps je vývoj MLOps, který rozšiřuje své principy tak, aby zahrnoval nejen rutinní nasazení modelů strojového učení, ale také průběžné rekvalifikace, automatickou aktualizaci a synchronizovaný vývoj a nasazení složitějších modelů strojového učení. ModelOps označuje operacionalizaci všech modelů AI, včetně modelů strojového učení, kterých se MLOps týká.
