Implementación de modelos de Machine Learning en su Organización

Desafíos de alto nivel y cuestiones de ML en Producción

El aprendizaje automático puede ser lo suficientemente complejo en entornos de producción, y solo lo es más cuando se considera la necesidad de abordar el aprendizaje adverso o adversarial learning (un sub campo de ML que explora sus aplicaciones en condiciones hostiles) como la ciberseguridad y el lavado de dinero. Los ataques adversos, desde causativos hasta exploratorios, alientan a su modelo a cambiar en respuesta a entradas cuidadosamente diseñadas, reduciendo la eficacia.

En ciberseguridad y otros dominios complejos, los límites de decisión a menudo requieren un contexto sólido para la interpretación humana, y las empresas modernas de cualquier tamaño generan muchos más datos de los que los humanos pueden analizar. Incluso en ausencia de tales preocupaciones adversas, la actividad del usuario, las implementaciones de red y los simples avances de la tecnología causan la acumulación de datos con el tiempo.
Con esto en mente, las preocupaciones de producción de ML son casi universales. El gobierno de datos y modelos afecta a todos los modelos, y el reciclaje es una realidad, por lo que la automatización del proceso de producción es clave para un funcionamiento sostenible.

ML y problemas en producción

Los problemas más comunes de producción que deben resolverse al construir una base ML incluyen:

  • Problemas de modelos en producción. Los modelos deben ser entrenados, actualizados e implementados sin problemas, pero pueden surgir problemas con fuentes de datos dispares, múltiples tipos de modelos en producción (supervisados / no supervisados) y múltiples lenguajes de implementación.
  • Desvío temporal. Los datos cambian con el tiempo.
  • Pérdida de contexto. Los desarrolladores de modelos olvidan su razonamiento con el tiempo.
  • Deuda técnica. Se sabe que es un problema en los entornos de aprendizaje de producción. Los modelos de ML son difíciles de entender por sus creadores (cajas negras), y esto es aún más difícil para los empleados que no son expertos en ML. Automatizar este proceso puede minimizar la deuda técnica.

ML y operación ideal


El sistema ideal puede abordar estas consideraciones generales de producción de ML al tiempo que atiende preocupaciones adversas comunes, que incluyen:

  • Datos históricos y entrenamiento de modelos.
  • Monitoreo de modelos y seguimiento de precisión en el tiempo.
  • Capacidad para trabajar con sistemas de entrenamiento distribuidos.
  • Pruebas personalizadas por modelo para validar la precisión.
  • Despliegue de modelos en servidores de producción.

ML y gestión de Modelos 

Si bien cada organización es diferente, estas son consideraciones de alto nivel para una gestión eficaz del modelo:

  • Datos históricos de entrenamiento con controles de tiempo específicos.
  • Funcionalidad de entrenamiento distribuido.
  • Capacidad para soportar múltiples idiomas.
  • Pruebas robustas y soporte de informes.
  • La precisión del modelo debe entenderse fácilmente.
  • Conjunto de características del modelo, metodología y seguimiento de código.
  • Procedencia de datos y definiciones de datos internos.
  • Herramientas de código abierto.
  • Funciones personalizadas de re entrenamiento y pérdida según el cronograma  (programado) para actualizar los modelos obsoletos.
  • Impacto mínimo en desarrolladores de modelos e ingenieros dedicados de ML.

ML y base Tecnológica

En el aspecto técnico, varias herramientas / procesos serán críticos para cumplir con estos requisitos:

  • Un fuerte servidor CI / CD (continuous integration / continuous delivery). Por ejemplo, Jenkins tiene excelentes complementos de soporte, compilación, informes y comandos para prácticamente todos los casos de uso, y su funcionalidad distribuida puede ser un beneficio futuro.
  • Plataforma flexible para la implementación de servicios en la nube. AWS’s EC2, S3, y EMR son buenos ejemplos.
  • Integración Git. Esto es importante cuando la generación de código se etiqueta con versiones específicas para artefactos de lanzamiento de producción.
  • Precisión del modelo. Envíe resultados de precisión y prueba a un servidor externo, como GRPC.
  • Integración. Integre la capa de servicio del modelo en las aplicaciones de transmisión.
En el siguiente post explicaremos los beneficios de una implementación sólida de ML en su organización.

Siguiente: http://ai.inxeon.com/2019/08/los-beneficios-de-una-implementacion-machine-learning.html

Comentarios

Entradas populares de este blog

Los beneficios de una implementación sólida de Machine Learning en su Organización

Construir una base sólida de Machine Learning en su Organización