ModelOps - ModelOps
ModelOps (operaciones de modelos), según lo define Gartner, "se centra principalmente en la gobernanza y la gestión del ciclo de vida de una amplia gama de modelos de decisión e inteligencia artificial operacionalizada, incluido el aprendizaje automático, gráficos de conocimiento, reglas, optimización, lingüística y modelos basados en agentes ". "ModelOps se encuentra en el corazón de cualquier estrategia de IA empresarial". Orquesta los ciclos de vida del modelo de todos los modelos en producción en toda la empresa, desde la puesta en producción de un modelo hasta la evaluación y actualización de la aplicación resultante de acuerdo con un conjunto de reglas de gobernanza, incluidos los KPI técnicos y comerciales. Otorga a los expertos en el dominio empresarial la capacidad de evaluar modelos de IA en producción, independientemente de los científicos de datos.
Un artículo de Forbes promovió ModelOps: "A medida que las empresas escalan sus iniciativas de IA para convertirse en una verdadera organización de IA empresarial, tener una capacidad analítica operativa completa pone ModelOps en el centro, conectando tanto DataOps como DevOps".
Historia
En una encuesta de Gartner de 2018, el 37% de los encuestados informaron que habían implementado IA de alguna forma; sin embargo, Gartner señaló que las empresas aún estaban lejos de implementar la IA, citando desafíos de implementación. Las empresas acumulaban modelos sin implementar, sin usar y sin actualizar, y se implementaban manualmente, a menudo a nivel de unidad de negocio, lo que aumentaba la exposición al riesgo de toda la empresa. La firma de analistas independientes Forrester también cubrió este tema en un informe de 2018 sobre proveedores de aprendizaje automático y análisis predictivo: “Los científicos de datos se quejan regularmente de que sus modelos solo se implementan a veces o nunca. Una gran parte del problema es el caos organizacional en la comprensión de cómo aplicar y diseñar modelos en aplicaciones. Pero otra gran parte del problema es la tecnología. Los modelos no son como el código de software porque necesitan una gestión de modelos ".
En diciembre de 2018, Waldemar Hummer y Vinod Muthusamy de IBM Research AI, propusieron ModelOps como "un modelo de programación para flujos de trabajo de IA reutilizables, independientes de la plataforma y componibles" en el Día de los lenguajes de programación de IBM. En su presentación, notaron la diferencia entre el ciclo de vida del desarrollo de aplicaciones, representado por DevOps , y el ciclo de vida de las aplicaciones de IA.
El objetivo de desarrollar ModelOps era abordar la brecha entre la implementación del modelo y el gobierno del modelo, asegurando que todos los modelos se ejecutaran en producción con un gobierno sólido, alineado con los KPI técnicos y comerciales, mientras se administraba el riesgo. En su presentación, Hummer y Muthusamy describieron una solución programática para la implementación por etapas con reconocimiento de inteligencia artificial y componentes reutilizables que permitirían que las versiones del modelo coincidieran con las aplicaciones comerciales, y que incluiría conceptos de modelos de inteligencia artificial como monitoreo de modelos, detección de deriva y aprendizaje activo. La solución también abordaría la tensión entre el rendimiento del modelo y los indicadores clave de rendimiento (KPI) del negocio, los registros de aplicaciones y modelos, y los servidores proxy del modelo y las políticas en evolución. Varias plataformas en la nube fueron parte de la propuesta. En junio de 2019, Hummer, Muthusamy, Thomas Rausch, Parijat Dube y Kaoutar El Maghraoui presentaron un documento en la Conferencia Internacional IEEE de 2019 sobre Ingeniería en la Nube (IC2E). El documento amplió su presentación de 2018, proponiendo ModelOps como un marco y una plataforma basados en la nube para el desarrollo de un extremo a otro y la gestión del ciclo de vida de las aplicaciones de inteligencia artificial (IA). En resumen, afirmaron que el marco mostraría cómo es posible extender los principios de la gestión del ciclo de vida del software para permitir la automatización, la confianza, la confiabilidad, la trazabilidad, el control de calidad y la reproducibilidad de las canalizaciones del modelo de IA. En marzo de 2020, ModelOp, Inc. publicó la primera guía completa de la metodología ModelOps. El objetivo de esta publicación fue proporcionar una descripción general de las capacidades de ModelOps, así como los requisitos técnicos y organizativos para implementar las prácticas de ModelOps.
En octubre de 2020, ModelOp lanzó ModelOp.io , un centro en línea para recursos de ModelOps y MLOps. Junto con el lanzamiento de este sitio web, ModelOp lanzó una plantilla de Solicitud de propuesta (RFP). Como resultado de entrevistas con expertos y analistas de la industria, esta plantilla RFP se diseñó para abordar los requisitos funcionales de las soluciones ModelOps y MLOps.
Casos de uso
Un caso de uso típico de ModelOps es el sector de servicios financieros, donde se utilizan cientos de modelos de series de tiempo para centrarse en reglas estrictas de sesgo y auditabilidad. En estos casos, la equidad y la solidez del modelo son fundamentales, lo que significa que los modelos deben ser justos y precisos, y deben ejecutarse de manera confiable. ModelOps automatiza el ciclo de vida del modelo de los modelos en producción. Dicha automatización incluye el diseño del ciclo de vida del modelo, incluidos los umbrales y KPI técnicos, comerciales y de cumplimiento, para gobernar y monitorear el modelo mientras se ejecuta, monitorear los modelos en busca de sesgos y otras anomalías técnicas y comerciales, y actualizar el modelo según sea necesario sin interrumpir las aplicaciones. ModelOps es el despachador que mantiene todos los trenes funcionando a tiempo y en el camino correcto, asegurando el control de riesgos, el cumplimiento y el desempeño comercial.
Otro caso de uso es el monitoreo de los niveles de azúcar en sangre de un diabético basado en los datos en tiempo real de un paciente. El modelo que puede predecir la hipoglucemia debe actualizarse constantemente con los datos actuales, los KPI comerciales y las anomalías deben monitorearse continuamente y deben estar disponibles en un entorno distribuido, de modo que la información esté disponible en un dispositivo móvil y se informe a un sistema más grande. La orquestación, gobernanza, reentrenamiento, monitoreo y actualización se realiza con ModelOps.
El proceso ModelOps
El proceso ModelOps se centra en automatizar la gobernanza, la gestión y el seguimiento de los modelos en producción en toda la empresa, lo que permite a los desarrolladores de aplicaciones e inteligencia artificial conectar fácilmente las capacidades del ciclo de vida (como detección de sesgos, robustez y confiabilidad, detección de desviaciones, técnicas, comerciales y KPI de cumplimiento, restricciones regulatorias y flujos de aprobación) para poner en producción modelos de IA como aplicaciones comerciales. El proceso comienza con una representación estándar de modelos candidatos para producción que incluye un metamodelo (la especificación del modelo) con todos los componentes y piezas dependientes que se utilizan para construir el modelo, como los datos, los entornos de hardware y software, los clasificadores, y complementos de código, y lo más importante, los KPI comerciales y de cumplimiento / riesgo.
ModelOps: una evolución de MLOps
MLOps (operaciones de aprendizaje automático) es una disciplina que permite a los científicos de datos y a los profesionales de TI colaborar y comunicarse mientras se automatizan los algoritmos de aprendizaje automático. Amplía y amplía los principios de DevOps para respaldar la automatización del desarrollo y la implementación de modelos y aplicaciones de aprendizaje automático. Como práctica, MLOps implica modelos de aprendizaje automático (ML) de rutina. Sin embargo, la variedad y los usos de los modelos han cambiado para incluir modelos de optimización de decisiones, modelos de optimización y modelos de transformación que se agregan a las aplicaciones. ModelOps es una evolución de MLOps que amplía sus principios para incluir no solo la implementación rutinaria de modelos de aprendizaje automático, sino también el reciclaje continuo, la actualización automatizada y el desarrollo e implementación sincronizados de modelos de aprendizaje automático más complejos. ModelOps se refiere a la operacionalización de todos los modelos de IA, incluidos los modelos de aprendizaje automático a los que se refiere MLOps.
