El aumento de los modelos de idiomas grandes (LLM) y los modelos de IA fundamentales han revolucionado el panorama del software, ofreciendo un inmenso potencial para que los ingenieros de productos mejoren las experiencias de los usuarios. Pero, ¿cómo pueden las empresas aprovechar efectivamente esta tecnología?
Hablé con Igor Luchenkovun ingeniero de productos de inteligencia artificial que ha creado infraestructura para utilizar LLM a escala y creó la plataforma Hackathon Hackonparty Para obtener información sobre la IA aplicada en la ingeniería de productos y hacer felices a los usuarios.
Definición de IA en soluciones SaaS
Luchenkov define la IA aplicada en el contexto actual de SaaS como se centra en los modelos fundamentales derivados de LLMS.
«Un modelo fundamental es un algoritmo de aprendizaje automático entrenado en una gran cantidad de datos», dijo Luchenkov. «Estos modelos pueden comprender el texto, las imágenes, el sonido y prácticamente cualquier entrada dentro de un dominio específico».
Señala ejemplos bien conocidos como GPT de OpenAi y Claude de Anthrope, así como alternativas de código abierto como Deepseek R1, Mistral, Gemma y Llama. Las aplicaciones son enormes, que van desde chatbots y herramientas de resumen de reuniones hasta plataformas de análisis de datos propulsadas por código y con IA.
«El espectro de posibles casos de uso es muy alto y aún por determinar», dijo Luchenkov.
Evaluación de la necesidad de IA aplicada
Luchenkov asesora un enfoque pragmático para la implementación de la IA.
“Primero, cree un producto que funcione y aporta valor a los clientes. Hazlo sin AI ”, me dijo Luchenkov. Esto permite una línea de base contra la cual comparar iniciativas de IA. La pregunta clave entonces es: ¿hay un buen caso de uso para AI?
«Estamos buscando oportunidades de productos donde se necesita una toma de decisiones humanas y reflexivas», dijo Luchenkov. «El enfoque debe estar en automatizar tareas y aumentar la productividad del usuario».
Luchenkov ilustra esto con su trabajo en AclararDonde la preparación de la reunión, la redacción del correo electrónico y el resumen de los acuerdos de IA en su CRM.
«Tomamos un problema claro conocido durante décadas en el espacio (la relación con el cliente es un proceso largo y exhaustivo) y lo hizo más fácil con la IA», dijo Luchenkov. «Las empresas deben» identificar el problema que necesita un sistema inteligente para resolver y asegurarse de que valga la pena resolver este problema «.
También recomienda consultar las reglas de ML de Google para obtener orientación sobre la construcción. Sistemas AI/ML.
Consideraciones de infraestructura crucial
Luchenkov enfatiza que las aplicaciones de IA aplicadas son, en primer lugar, aplicaciones que requieren soluciones a desafíos tradicionales de ingeniería de software como escalabilidad, tiempos de respuesta, monitoreo y alertas. Sin embargo, AI introduce su propio conjunto de consideraciones.
«Debe buscar la descomposición del rendimiento del modelo, los cambios de distribución de datos y otras cosas específicas para su tarea particular», dijo Luchenkov. La observabilidad es crucial para comprender el impacto de los cambios en el sistema en el rendimiento y las métricas comerciales. Los modelos fundamentales también presentan desafíos únicos, particularmente en la evaluación de respuestas abiertas.
Luchenkov cita el ejemplo de un modelo que resume el texto: «¿Cómo sabe si LLM resume correctamente un texto y no inventa las cosas?» Se pueden usar métricas como AI Judge y Perplexity, pero la elección específica depende del caso de uso.
«En términos generales, evalúe y monitoree las métricas que tienen sentido para su tarea particular», dijo Luchenkov.
Democratización del uso de AI
Luchenkov cree que la IA aplicada debe ser accesible para todos en una organización.
«La IA es una mercancía hoy en día», dijo Luchenkov. Restringir el acceso dificulta la innovación. Más allá de los equipos de productos, sugiere establecer un equipo de I + D dedicado para rastrear modelos y técnicas emergentes y explorar nuevos casos de uso.
«El objetivo de dicho equipo es descubrir nuevos casos de uso para usar IA en el producto e innovar en varias áreas del producto», dijo Luchenkov.
También recomienda los libros «Diseño de sistemas de aprendizaje automático» y «Ingeniería de IA«Por Chip Huyen para obtener más información sobre infraestructura y evaluación.
Mitigar los riesgos de la IA
La IA, entrenada en vastas conjuntos de datos que a menudo contienen sesgos y información errónea, conlleva riesgos inherentes. Luchenkov destaca el potencial de AI para generar respuestas dañinas o inapropiadas, citando un chatbot que sugirió suicidio.
«Cualquier precedente como ese es una tragedia para las personas y una gran pérdida de reputación para la compañía», dijo Luchenkov.
Incluso los errores aparentemente inofensivos, como las respuestas incorrectas de atención al cliente, pueden dañar la confianza y conducir a una publicidad negativa. Reitera la importancia del monitoreo y evaluación constantes para garantizar el rendimiento e identificar posibles problemas.
Abordar las preocupaciones de reputación
Luchenkov reconoce el potencial de daño de reputación debido a la imprevisibilidad de la IA. Señala ejemplos de asistentes de IA que hacen declaraciones extrañas o generan respuestas sesgadas.
«Es por eso que es crucial tener salvaguardas adecuadas en su lugar, como el filtrado de contenido y la supervisión humana», dijo Luchenkov.
Señala que la supervisión humana es esencial en áreas sensibles como la atención médica, las finanzas y los servicios legales para garantizar la precisión, el cumplimiento y la responsabilidad ética. El objetivo final, concluye Luchenkov, es «aprovechar los beneficios de la IA mientras protege la reputación de su empresa y mantiene la confianza de los clientes».
