ModelOps - ModelOps
ModelOps (operações de modelo), conforme definido pelo Gartner, "é focado principalmente na governança e gerenciamento do ciclo de vida de uma ampla gama de inteligência artificial (IA) operacionalizada e modelos de decisão, incluindo aprendizado de máquina, gráficos de conhecimento, regras, otimização, linguística e modelos baseados em agentes ". “ModelOps está no cerne de qualquer estratégia corporativa de IA”. Ele orquestra os ciclos de vida de todos os modelos em produção em toda a empresa, desde colocar um modelo em produção até avaliar e atualizar o aplicativo resultante de acordo com um conjunto de regras de governança, incluindo KPIs técnicos e de negócios. Ele concede aos especialistas do domínio de negócios a capacidade de avaliar modelos de IA em produção, independentemente de cientistas de dados.
Um artigo da Forbes promoveu o ModelOps: "À medida que as empresas aumentam suas iniciativas de IA para se tornarem uma verdadeira organização de IA corporativa, ter capacidade analítica totalmente operacionalizada coloca o ModelOps no centro, conectando DataOps e DevOps."
História
Em uma pesquisa do Gartner de 2018, 37% dos entrevistados relataram que implantaram IA de alguma forma; no entanto, o Gartner apontou que as empresas ainda estavam longe de implementar IA, citando desafios de implantação. As empresas estavam acumulando modelos não implantados, não utilizados e não renovados, e implantados manualmente, geralmente no nível da unidade de negócios, aumentando a exposição ao risco de toda a empresa. A empresa de análise independente Forrester também abordou esse tópico em um relatório de 2018 sobre fornecedores de aprendizado de máquina e análise preditiva: “Cientistas de dados reclamam regularmente que seus modelos são implementados apenas algumas vezes ou nunca. Uma grande parte do problema é o caos organizacional na compreensão de como aplicar e projetar modelos em aplicativos. Mas outra grande parte do problema é a tecnologia. Os modelos não são como o código de software porque precisam de gerenciamento de modelos. ”
Em dezembro de 2018, Waldemar Hummer e Vinod Muthusamy, da IBM Research AI, propuseram o ModelOps como “um modelo de programação para fluxos de trabalho de IA reutilizáveis, independentes de plataforma e combináveis” no Dia das Linguagens de Programação IBM. Em sua apresentação, eles notaram a diferença entre o ciclo de vida de desenvolvimento do aplicativo, representado pelo DevOps , e o ciclo de vida do aplicativo AI.
O objetivo de desenvolver ModelOps foi abordar a lacuna entre a implantação do modelo e a governança do modelo, garantindo que todos os modelos estivessem funcionando em produção com uma governança forte, alinhada com os KPIs técnicos e de negócios, enquanto gerenciava o risco. Em sua apresentação, Hummer e Muthusamy descreveram uma solução programática para implantação em estágios com reconhecimento de IA e componentes reutilizáveis que permitiria que versões de modelo correspondessem a aplicativos de negócios e que incluiria conceitos de modelo de IA, como monitoramento de modelo, detecção de deriva e aprendizado ativo. A solução também abordaria a tensão entre o desempenho do modelo e os principais indicadores de desempenho (KPIs) de negócios, logs de aplicativo e modelo e proxies de modelo e políticas em evolução. Diversas plataformas em nuvem faziam parte da proposta. Em junho de 2019, Hummer, Muthusamy, Thomas Rausch, Parijat Dube e Kaoutar El Maghraoui apresentaram um artigo na Conferência Internacional IEEE de 2019 sobre Engenharia de Nuvem (IC2E). O artigo expandiu sua apresentação de 2018, propondo ModelOps como uma estrutura e plataforma baseada em nuvem para desenvolvimento de ponta a ponta e gerenciamento de ciclo de vida de aplicativos de inteligência artificial (IA). Em resumo, eles afirmaram que a estrutura mostraria como é possível estender os princípios do gerenciamento do ciclo de vida do software para permitir automação, confiança, confiabilidade, rastreabilidade, controle de qualidade e reprodutibilidade de pipelines de modelo de IA. Em março de 2020, ModelOp, Inc. publicou o primeiro guia abrangente para a metodologia ModelOps. O objetivo desta publicação foi fornecer uma visão geral dos recursos do ModelOps, bem como os requisitos técnicos e organizacionais para implementar as práticas do ModelOps.
Em outubro de 2020, ModelOp lançou ModelOp.io , um hub online para recursos ModelOps e MLOps. Juntamente com o lançamento deste site, a ModelOp lançou um modelo de Solicitação de Proposta (RFP). Resultante de entrevistas com analistas e especialistas do setor, este modelo RFP foi projetado para atender aos requisitos funcionais de soluções ModelOps e MLOps.
Casos de uso
Um caso de uso típico para ModelOps é no setor de serviços financeiros, onde centenas de modelos de séries temporais são usados para focar em regras estritas de tendência e auditabilidade. Nesses casos, a imparcialidade e a robustez do modelo são críticas, o que significa que os modelos devem ser justos e precisos e devem ser executados de forma confiável. ModelOps automatiza o ciclo de vida dos modelos em produção. Tal automação inclui projetar o ciclo de vida do modelo, incluindo KPIs e limites técnicos, de negócios e de conformidade, para controlar e monitorar o modelo conforme ele é executado, monitorar os modelos quanto a tendências e outras anomalias técnicas e de negócios e atualizar o modelo conforme necessário sem interromper os aplicativos. ModelOps é o despachante que mantém todos os trens funcionando no tempo e no caminho certo, garantindo o controle de riscos, a conformidade e o desempenho dos negócios.
Outro caso de uso é o monitoramento dos níveis de açúcar no sangue de um diabético com base nos dados em tempo real do paciente. O modelo que pode prever a hipoglicemia deve ser constantemente atualizado com os dados atuais, KPI's de negócios e anomalias devem ser monitorados continuamente e devem estar disponíveis em um ambiente distribuído, para que as informações estejam disponíveis em um dispositivo móvel, bem como relatadas para um sistema maior. A orquestração, governança, retreinamento, monitoramento e atualização são feitos com ModelOps.
O processo ModelOps
O processo ModelOps se concentra na automação da governança, gerenciamento e monitoramento de modelos em produção em toda a empresa, permitindo que os desenvolvedores de IA e de aplicativos conectem facilmente recursos de ciclo de vida (como detecção de polarização, robustez e confiabilidade, detecção de desvio, técnica, negócios e KPI's de conformidade, restrições regulatórias e fluxos de aprovação) para colocar modelos de IA em produção como aplicativos de negócios. O processo começa com uma representação padrão de modelos candidatos para produção que inclui um metamodelo (a especificação do modelo) com todos os componentes e peças dependentes que entram na construção do modelo, como os dados, os ambientes de hardware e software, os classificadores, e plug-ins de código e, o mais importante, os KPIs de negócios e conformidade / risco.
ModelOps: uma evolução dos MLOps
MLOps (operações de aprendizado de máquina) é uma disciplina que permite que cientistas de dados e profissionais de TI colaborem e se comuniquem enquanto automatizam algoritmos de aprendizado de máquina. Ele estende e expande os princípios do DevOps para oferecer suporte à automação do desenvolvimento e implantação de modelos e aplicativos de aprendizado de máquina. Como prática, o MLOps envolve modelos de aprendizado de máquina (ML) de rotina. No entanto, a variedade e os usos dos modelos mudaram para incluir modelos de otimização de decisão, modelos de otimização e modelos transformacionais que são adicionados aos aplicativos. ModelOps é uma evolução dos MLOps que expande seus princípios para incluir não apenas a implantação de rotina de modelos de aprendizado de máquina, mas também o retreinamento contínuo, atualização automatizada e desenvolvimento sincronizado e implantação de modelos de aprendizado de máquina mais complexos. ModelOps refere-se à operacionalização de todos os modelos de IA, incluindo os modelos de aprendizado de máquina com os quais o MLOps está preocupado.
