Akamai Technology lanza la inferencia en la nube de Akamai, un nuevo servicio en la nube que mejora la eficiencia de las tareas de inferencia de IA. Ofrece un mejor rendimiento, una latencia reducida y menores costos que la infraestructura de hiperescala tradicional.
La inferencia de la nube de Akamai se ejecuta en Akamai Cloud, la plataforma más distribuida del mundo. Esta nueva tecnología está diseñada para abordar las limitaciones de los modelos de nubes centralizados mediante el procesamiento de datos de IA más cercanos al usuario y los dispositivos.
Adam Karon, director de operaciones y gerente general, Cloud Technology Group en Akamai, destacó el desafío de distribuir datos de IA de manera eficiente. «Llevar los datos de IA más cercanos a los usuarios y dispositivos es difícil, y es donde las nubes heredadas luchan», dijo Karon.
La inferencia de IA en Akamai Cloud permite a los ingenieros y desarrolladores de la plataforma construir y ejecutar aplicaciones de IA más cerca de los usuarios finales. Esta nueva solución ofrece 3X mejor rendimiento y una reducción de hasta 2.5x en la latencia.
Las nuevas herramientas capacitan a las empresas para ahorrar hasta un 86% en la inferencia de IA y las cargas de trabajo de IA en agente en comparación con la infraestructura hiperscalera tradicional.
Las características clave de la inferencia de nubes de Akamai incluyen:
- Calcular: Akamai Cloud proporciona opciones de cómputo versátiles como CPU para inferencia ajustada, GPU para cómputo acelerado y VPUS ASIC. Etc para abordar una amplia gama de desafíos de inferencia de IA.
- Gestión de datos: Akamai se integra con vastas datos para el acceso a datos en tiempo real y proporciona almacenamiento de objetos escalable para administrar conjuntos de datos de IA. La compañía también trabaja con proveedores de bases de datos vectoriales como Aiven y Milvus para permitir la generación de recuperación.
- Contenedorización: Akamai integra la contenedorización para mejorar la resiliencia de la aplicación y la portabilidad híbrida/multicloud. Akamai ofrece una inferencia de IA que es más rápida, más barata y más segura con Kubernetes, compatible con Linode Kubernetes Engine (LKE) -Rerprise. El nuevo servicio permite una implementación rápida de plataformas listas para AI, incluidos Kserve, Kubeflow y Spinkube.
- Computación de borde: La inferencia de Akamai AI incluye capacidades de WebAssembly (WASM). Los desarrolladores construyen aplicaciones con IA en el borde, lo que permite soluciones sensibles a la latencia.
La arquitectura escalable y distribuida de Akamai Cloud permite que los recursos de cómputo estén disponibles a nivel mundial, de nube a borde, al tiempo que acelera el rendimiento de la aplicación y el aumento de la escalabilidad. La plataforma abarca 4.200 puntos de presencia en 1.200 redes en más de 130 países.
Polyhedra acaba de hacer públicos los secretos honestos de la IA
Akasm revela el cambio de la capacitación de modelos de idiomas grandes (LLM) a la inferencia de IA, enfatizando la necesidad de soluciones prácticas de IA. Los LLM son efectivos para las tareas de propósito general, pero a menudo vienen con altos costos y requisitos que llevan mucho tiempo.
En lugar de invertir mucho en LLMS, las empresas se están moviendo a modelos de IA más ligeros. Estos están optimizados para problemas comerciales específicos, ofrecen un mejor retorno de la inversión hoy.
La inferencia de la nube de Akamai admite el procesamiento de datos de IA más cerca de donde se genera, resolviendo las demandas de soluciones de IA más distribuidas.
La nueva oferta de Akamai representa un movimiento notable hacia la IA descentralizada, resolviendo el clásico enigma de la distancia de la nube. ¿Por qué? Debido a que la latencia reducida se traduce directamente en ahorros reales e inmediatos y una mejor experiencia de usuario, que es una combinación difícil para que los competidores superen.
Una característica particularmente inteligente es el énfasis en la contenedorización, garantizar que la implementación de aplicaciones de IA sigue siendo mucho más fácil y más segura que las configuraciones tradicionales. El uso de Linode Kubernetes Engine (LKE) -Rerprise subraya el compromiso de Akamai de ofrecer herramientas modernas y eficientes adaptadas a los desafíos tecnológicos actuales.
