AutoAI - AutoAI
Automatizovaná umělá inteligence (AutoAI) je variace technologie automatizovaného strojového učení neboli AutoML, která rozšiřuje automatizaci vytváření modelů směrem k automatizaci celého životního cyklu modelu strojového učení. Aplikuje inteligentní automatizaci na úkol vytváření modelů prediktivního strojového učení tím, že připravuje data pro trénink, identifikuje nejlepší typ modelu pro daná data a poté volí funkce nebo sloupce dat, které nejlépe podporují problém, který model řeší. Nakonec automatizace testuje různé možnosti ladění, aby dosáhla co nejlepšího výsledku při generování a následném seřazení kanálů vhodných pro model. Nejvýkonnější kanály lze nasadit do výroby za účelem zpracování nových dat a předpovědi na základě tréninku modelu. Automatickou umělou inteligenci lze také použít k zajištění toho, že model nemá inherentní zkreslení, a automatizaci úkolů pro neustálé zlepšování modelu. Správa modelu AutoAI vyžaduje časté monitorování a aktualizaci, která je spravována procesem známým jako operace modelu nebo ModelOps .
Tým Automated Machine Learning and Data Science Team (AMLDS), malý tým v rámci IBM Research, který byl vytvořen s cílem „aplikovat techniky od Artificial Intelligence (AI), Machine Learning (ML) a správy dat k urychlení a optimalizaci vytváření strojů učení a pracovní postupy pro vědu o datech, “připisuje se mu pokrok v rozvoji AutoAI.
Pouzdro
Typickým případem použití pro AutoAI by bylo školení modelu k předpovědi, jak by zákazníci mohli reagovat na prodejní pobídku. Model je nejprve proškolen s aktuálními údaji o tom, jak zákazníci reagovali na propagaci. Představený s novými daty, model může poskytnout předpověď, jak může nový zákazník reagovat, se skóre spolehlivosti pro předpověď. Před AutoML museli vědci v oblasti dat tyto prediktivní modely sestavovat ručně, testovat různé kombinace algoritmů a poté testovat, aby zjistili, jak se předpovědi porovnávají se skutečnými výsledky. Tam, kde AutoML automatizoval některý z procesů přípravy dat pro školení, použití algoritmů pro zpracování dat a následnou další optimalizaci výsledků, poskytuje AutoAI inteligentnější automatizaci, která umožňuje testování podstatně více kombinací faktorů pro generování modelových kandidátských kanálů, které přesněji odrážejí a řešit řešený problém. Po sestavení lze model otestovat na zkreslení a aktualizovat, aby se zlepšil výkon.
Proces AutoAI
Uživatel zahájí proces poskytnutím sady tréninkových dat a identifikací sloupce predikce, který nastaví problém k vyřešení. Například sloupec predikce může obsahovat možné hodnoty ano nebo ne v reakci na nabízenou pobídku. V datové předzpracování fázi AutoAI platí četné algoritmy nebo odhady, pro analýzu, čisté (například odstranění redundantních informací nebo přičítat chybějících údajů), a připravit strukturované vstupní údaje pro strojového učení (ML).
Další je automatický výběr modelu, který odpovídá datům s typem modelu, jako je klasifikace nebo regrese . Například pokud ve sloupci predikce existují pouze dva typy dat, AutoAI se připraví na vytvoření binárního klasifikačního modelu. Pokud existuje neznámá sada možných odpovědí, připraví AutoAI regresní model, který využívá jinou sadu algoritmů nebo transformace řešení problémů. AutoAI se řadí po testování kandidátských algoritmů proti malým podmnožinám informací a postupně zvyšuje velikost podmnožiny pro algoritmy, které se nejslibněji promění v nejlepší shodu. Tento proces iterativního a přírůstkového strojového učení je tím, co odlišuje AutoAI od dřívějších verzí AutoML.
Funkční inženýrství transformuje nezpracovaná data na kombinaci, která představuje problém, aby se dosáhlo nejlepší přesné předpovědi. Součástí tohoto procesu je vyhodnocení toho, jak mohou data ve zdroji tréninkových dat nejlépe podporovat přesnou předpověď. Pomocí algoritmů váží některá data jako důležitější než jiná k dosažení požadovaného výsledku. AutoAI automatizuje zvážení mnoha možností konstrukce prvků nevyčerpávajícím a strukturovaným způsobem a mezitím postupně maximalizuje přesnost modelu pomocí učení výztuže. To vyplývá z optimalizované sekvence transformací informací a dat, která odpovídá nejlepším algoritmům kroku zahrnujícího výběr modelu.
Nakonec AutoAI použije krok optimalizace hyperparametru k upřesnění a posunutí nejvýkonnějších modelových kanálů . Pipelines jsou modelové kandidáty, které jsou hodnoceny a řazeny podle metrik, jako je přesnost a přesnost. Na konci procesu může uživatel zkontrolovat kanály a zvolit kanál nebo kanály, které se mají uvést do výroby, aby mohly předpovědět nová data.
Dějiny
V srpnu 2017 společnost AMLDS oznámila, že zkoumá využití automatizovaného inženýrství funkcí k eliminaci dohadů v oblasti vědy o datech. Členové AMDLS Udayan Khurana, Horst Samulowitz, Gregory Bramble, Deepak Toraga a Peter Kirchner spolu s Fatemeh Nargesian z University of Toronto a Elias Khalil z Georgia Tech představili svůj předběžný výzkum na IJCAI téhož roku.
Jejich metoda s názvem „Learning-based Feature Engineering“ se naučila korelace mezi distribucemi funkcí, cílovými distribucemi a transformacemi, vytvořila meta-modely, které používaly minulá pozorování k předpovědi životaschopných transformací, a zobecnily tisíce datových souborů pokrývajících různé domény. K adresování vektorů prvků různých velikostí použilo kvantilní skici pole k zachycení podstatného charakteru prvku.
V roce 2018 společnost IBM Research oznámila Deep Learning as a Service, která otevřela vývojářům v cloudu populární knihovny hlubokého učení, jako jsou Caffe, Torch a TensorFlow . AMLDS pokračovali ve své práci a použili ji ve známé soutěži Kaggle . Dokončilo to v prvních deseti procentech. Jean-Francois Puget, PhD, významný inženýr specializující se na strojové učení (ML) a optimalizaci v IBM, se přihlásil do soutěže. Zjistil to a rozhodl se být připraven na platformy IBM AI a datové vědy, jako je IBM Watson . V prosinci 2018 společnost IBM Research oznámila NeuNetS, novou funkci, která automatizuje syntézu modelů neuronových sítí jako součást vývoje a nasazení automatizovaného modelu AI.
V publikaci „An ADMM Based Framework for AutoML Pipeline Configuration“, AAAI 2020 research paper, autori Sijia Liu, Parikshit Ram, Djallel Bouneffouf, Deepak Vijaykeerthy, Gregory Bramble, Horst Samulowitz, Dakuo Wang, Andrew R Conn a Alexander Gray navrhli metodu pro AutoML, který používal metodu střídavého směru multiplikátorů (ADMM) ke konfiguraci více fází kanálu ML, jako jsou transformace, inženýrství funkcí a výběr a prediktivní modelování. Jednalo se o první zaznamenaný čas, kdy IBM Research veřejně použil termín „Auto“ na strojové učení.
AutoAI: Vývoj AutoML
Rok 2019 byl rokem, kdy se AutoML stalo pojmem široce diskutovaným. „The Forrester New Wave ™: Automation-Focused Machine Learning Solutions, Q2 2019,“ hodnotil řešení AutoML a zjistil, že výkonnější verze nabízejí inženýrství funkcí. Zpráva společnosti Gartner Technical Professional Advice ze srpna 2019 uvádí, že na základě jejich výzkumu může AutoML rozšířit vědu o datech a strojové učení. AutoML popsali jako automatizaci úloh přípravy dat, inženýrství funkcí a modelování.
AutoAI je vývoj AutoML. Jeden z hlavních vynálezců AutoAI, Jean-Francois Puget, PhD, to popisuje jako automatickou přípravu dat, inženýrství funkcí, výběr algoritmů strojového učení a optimalizaci hyperparametrů, aby našel nejlepší možný model strojového učení. Algoritmus optimalizace hyperparametrů použitý v AutoAI se liší od ladění hyperparametru AutoML. Algoritmus je optimalizován pro vyhodnocení nákladových funkcí, jako je trénink modelu a skórování, které jsou typické pro strojové učení, což umožňuje rychlou konvergenci k dobrému řešení, a to i přes dlouhé doby vyhodnocení každé iterace.
Výzkumní vědci z IBM Research zveřejnili dokument „Směrem k automatizaci životního cyklu operací AI“, který popisuje výhody a dostupné technologie pro automatizaci větší části procesu, s cílem omezit lidskou angažovanost potřebnou k vytvoření, testování a údržbě strojového učení aplikace. Někteří vědci z HCI však tvrdí, že aplikace strojového učení a její doporučení jsou nevyhnutelně přijímána těmi, kteří rozhodují o lidech, takže je nemožné vyloučit zapojení člověka do procesu. Spíše transparentnější a interpretovatelný design AutoAI je klíčem k získání důvěry od lidských uživatelů, ale samotný design je docela výzvou.
Ocenění pro AutoAI
- Vítěz, Cena za nejlepší inovaci v inteligentní automatizaci na AIconics AI Summit (2019), San Francisco.
- Vítěz ocenění iF Design Guide za komunikaci v softwarové aplikaci (2020)
