Multitaskoptimering - Multitask optimization

Multi-task-optimering är ett paradigm i optimeringslitteraturen som fokuserar på att lösa flera självständiga uppgifter samtidigt. Paradigmet har inspirerats av de väletablerade begreppen transfer learning och multi-task learning i prediktiv analys .

Nyckelmotivationen bakom optimering av flera uppgifter är att om optimeringsuppgifter är relaterade till varandra när det gäller deras optimala lösningar eller de allmänna egenskaperna hos deras funktionslandskap, kan sökförloppet överföras för att väsentligt påskynda sökningen på den andra.

Paradigmets framgång är inte nödvändigtvis begränsad till enkelriktad kunskapsöverföring från enklare till mer komplexa uppgifter. I praktiken är ett försök att avsiktligt lösa en svårare uppgift som oavsiktligt kan lösa flera mindre problem.

Metoder

Det finns två vanliga tillvägagångssätt för multi-task-optimering: Bayesian-optimering och evolutionär beräkning .

Multi-task Bayesian optimering

Multi-task Bayesian-optimering är ett modernt modellbaserat tillvägagångssätt som utnyttjar begreppet kunskapsöverföring för att påskynda den automatiska hyperparameteroptimeringsprocessen för maskininlärningsalgoritmer. Metoden bygger en Gauss-processmodell med flera uppgifter på data som härrör från olika sökningar som fortskrider i tandem. De fångade beroendeförhållandena används därefter för att bättre informera efterföljande provtagning av kandidatlösningar i respektive sökutrymme.

Evolutionär multitasking

Evolutionär multitasking har utforskats som ett sätt att utnyttja den implicita parallelliteten hos befolkningsbaserade sökalgoritmer för att samtidigt utveckla flera distinkta optimeringsuppgifter. Genom att kartlägga alla uppgifter till ett enhetligt sökutrymme kan den växande populationen av kandidatlösningar utnyttja de dolda relationerna mellan dem genom kontinuerlig genetisk överföring. Detta induceras när lösningar associerade med olika uppgifter delas över. Nyligen har metoder för kunskapsöverföring som skiljer sig från direkt lösning crossover har undersökts.

Applikationer

Algoritmer för multi-task-optimering spänner över ett brett utbud av verkliga applikationer. Nya studier belyser potentialen för snabbare förbättringar av optimering av tekniska konstruktionsparametrar genom att genomföra relaterade konstruktioner tillsammans på ett multitask-sätt. Vid maskininlärning kan överföringen av optimerade funktioner över relaterade datauppsättningar förbättra träningsprocessens effektivitet samt förbättra generaliseringsförmågan hos inlärda modeller. Dessutom har begreppet multitasking lett till framsteg inom automatisk hyperparameteroptimering av maskininlärningsmodeller och ensembleinlärning .

Applikationer har också rapporterats inom molntjänster, med framtida utveckling inriktad på molnbaserade optimeringstjänster på begäran som kan tillgodose flera kunder samtidigt. Senaste arbetet har dessutom visat tillämpningar inom kemi.

Se även

Referenser

  1. ^ a b Gupta, A., Ong, YS, & Feng, L. (2018). Insikt i överföringsoptimering: Eftersom erfarenhet är den bästa läraren . IEEE Transactions on Emerging Topics in Computational Intelligence, 2 (1), 51-64.
  2. ^ a b c Gupta, A., Ong, YS, & Feng, L. (2016). Multifaktoriell evolution: mot evolutionär multitasking. IEEE Transactions on Evolutionary Computation, 20 (3), 343-357.
  3. ^ Pan, SJ, & Yang, Q. (2010). En undersökning om transferlärande . IEEE-transaktioner om kunskaps- och datateknik, 22 (10), 1345-1359.}
  4. ^ Caruana, R., "Multitask Learning", s. 95-134 i Pratt & Thrun 1998
  5. ^ Cheng, MY, Gupta, A., Ong, YS, & Ni, ZW (2017). Coevolutionary multitasking för samtidig global optimering: Med fallstudier inom komplex teknisk design . Tekniska tillämpningar av artificiell intelligens, 64, 13-24.}
  6. ^ Cabi, S., Colmenarejo, SG, Hoffman, MW, Denil, M., Wang, Z., & De Freitas, N. (2017). Den avsiktliga oavsiktliga agenten: Lär dig att lösa många kontinuerliga kontrolluppgifter samtidigt . arXiv förtryck arXiv: 1707.03300.
  7. ^ Swersky, K., Snoek, J., & Adams, RP (2013). Bayesian-optimering med flera uppgifter . Framsteg inom system för neurologisk informationsbehandling (s. 2004-2012).
  8. ^ Bonilla, EV, Chai, KM, & Williams, C. (2008). Multi-task Gaussisk process förutsägelse . Framsteg inom system för neurologisk informationsbehandling (s. 153-160).
  9. ^ a b Ong, YS, & Gupta, A. (2016). Evolutionär multitasking: en datavetenskaplig syn på kognitiv multitasking . Kognitiv beräkning, 8 (2), 125-142.
  10. ^ Feng, L., Zhou, L., Zhong, J., Gupta, A., Ong, YS, Tan, KC, & Qin, AK (2018). Evolutionär multitasking via Explicit Autoencoding . IEEE-transaktioner på cybernetics, (99).
  11. ^ Chandra, R., Gupta, A., Ong, YS, & Goh, CK (2016, oktober). Evolutionärt multi-task-lärande för modulär träning av feed-forward neurala nätverk . I International Conference on Neural Information Processing (s. 37-46). Springer, Cham.
  12. ^ Yosinski, J., Clune, J., Bengio, Y., & Lipson, H. (2014). Hur överförbara är funktioner i djupa neurala nätverk? I framsteg i system för neurologisk informationsbehandling (s. 3320-3328).
  13. ^ Wen, YW, & Ting, CK (2016, juli). Lärande ensemble av beslutsträd genom multifaktoriell genetisk programmering . I Evolutionary Computation (CEC), 2016 IEEE Congress på (s. 5293-5300). IEEE.
  14. ^ Zhang, B., Qin, AK, & Sellis, T. (2018, juli). Evolutionär funktion delutrymme generation för ensemble klassificering . I Proceedings of the Genetic and Evolutionary Computation Conference (s. 577-584). ACM.
  15. ^ Bao, L., Qi, Y., Shen, M., Bu, X., Yu, J., Li, Q., & Chen, P. (2018, juni). En evolutionär multitaskingsalgoritm för molnberäkningstjänstkomposition . I World Congress on Services (s. 130-144). Springer, Cham.
  16. ^ Tang, J., Chen, Y., Deng, Z., Xiang, Y., & Joy, CP (2018). En gruppbaserad strategi för att förbättra multifaktoriell evolutionsalgoritm . I IJCAI (s. 3870-3876).
  17. ^ Felton, K., Wigh, D., & Lapkin A. (2021, april). Multi-task Bayesian Optimization of Chemical Reations . ChemRxiv.