Mistral AI tiene anunciado el lanzamiento de su nueva API de moderación de contenido. Esta API, que ya impulsa el chatbot Le Chat de Mistral, está diseñada para clasificar y gestionar texto no deseado a través de una variedad de estándares de seguridad y aplicaciones específicas. La herramienta de moderación de Mistral aprovecha un modelo de lenguaje perfeccionado llamado Ministral 8B, capaz de procesar múltiples idiomas, incluidos inglés, francés y alemán, y categorizar el contenido en nueve tipos distintos: contenido sexual, odio y discriminación, violencia y amenazas, peligroso o criminal. actividades, autolesiones, salud, financiera, legal e información de identificación personal (PII).
La API de moderación es versátil y tiene aplicaciones tanto para texto sin formato como para mensajes conversacionales. «En los últimos meses, hemos visto un creciente entusiasmo en toda la industria y la comunidad de investigación por los nuevos sistemas de moderación basados en IA, que pueden ayudar a que la moderación sea más escalable y robusta en todas las aplicaciones», compartió Mistral en una publicación de blog reciente. La compañía describe su enfoque como «pragmático», cuyo objetivo es abordar los riesgos de daños generados por modelos, como asesoramiento no calificado y filtraciones de PII, mediante la aplicación de pautas de seguridad matizadas.
La API de moderación aborda los problemas de sesgo y las necesidades de personalización
Los sistemas de moderación de contenido impulsados por IA tienen potencial para una gestión de contenido eficiente y escalable, pero no están exentos de limitaciones. Históricamente, sistemas de IA similares han luchado contra los sesgos, particularmente en la detección de estilos de lenguaje asociados con ciertos datos demográficos. Por ejemplo, los estudios muestran que los modelos de lenguaje a menudo señalan frases en inglés vernáculo afroamericano (AAVE) como desproporcionadamente tóxicas, además de etiquetar erróneamente publicaciones que hablan sobre discapacidades como demasiado negativas.
IA generativa versus IA predictiva: Comparación completa
Mistral reconoce los desafíos que supone crear una herramienta de moderación imparcial y afirma que, si bien su modelo de moderación es muy preciso, todavía está evolucionando. La compañía aún tiene que comparar el rendimiento de su API con herramientas establecidas como la API Perspective de Jigsaw o la API de moderación de OpenAI. Mistral tiene como objetivo perfeccionar su herramienta a través de la colaboración continua con los clientes y la comunidad de investigación, y afirma: «Estamos trabajando con nuestros clientes para crear y compartir herramientas de moderación escalables, livianas y personalizables».
La API por lotes reduce los costos de procesamiento en un 25 %
Mistral también introdujo una API por lotes diseñada para el manejo de solicitudes de gran volumen. Al procesar estas solicitudes de forma asincrónica, Mistral afirma que la API por lotes puede reducir los costos de procesamiento en un 25%. Esta nueva característica se alinea con opciones de procesamiento por lotes similares que ofrecen otras empresas de tecnología como Anthropic, OpenAI y Google, cuyo objetivo es mejorar la eficiencia para los clientes que administran flujos de datos sustanciales.
La API de moderación de contenido de Mistral pretende ser adaptable a una variedad de casos de uso e idiomas. El modelo está capacitado para manejar texto en varios idiomas, incluidos árabe, chino, italiano, japonés, coreano, portugués, ruso y español. Esta capacidad multilingüe garantiza que el modelo pueda abordar contenido no deseado en diferentes regiones y contextos lingüísticos. La herramienta de Mistral ofrece dos puntos finales diseñados para texto sin formato o contextos conversacionales, acomodando diversas necesidades de los usuarios. La empresa proporciona documentación técnica detallada y puntos de referencia para que los usuarios evalúen el rendimiento del modelo.
A medida que Mistral continúa perfeccionando su herramienta, la API proporciona un nivel único de personalización, lo que permite a los usuarios ajustar los parámetros según estándares de seguridad de contenido específicos.
Crédito de la imagen destacada: Mistral
