Sony AI lanzó Fair Human-Centric Image Benchmark (FHIBE), el primer conjunto de datos de imágenes humanas basado en el consentimiento, globalmente diverso y disponible públicamente, diseñado para evaluar el sesgo en las tareas de visión por computadora. Esta herramienta evalúa cómo los modelos de IA tratan a personas de diversos grupos demográficos, abordando los desafíos éticos en la industria de la IA a través de la recopilación de imágenes consentidas de diversos participantes. El conjunto de datos, que se pronuncia como «Phoebe», incluye imágenes de casi 2.000 participantes pagos de más de 80 países. Cada individuo brindó su consentimiento explícito para compartir sus imágenes, lo que distingue a FHIBE de las prácticas comunes que implican extraer grandes volúmenes de datos web sin permiso. Los participantes conservan el derecho de eliminar sus imágenes en cualquier momento, garantizando un control continuo sobre sus datos personales. Este enfoque subraya el compromiso de Sony AI con los estándares éticos en la adquisición de datos. Cada fotografía del conjunto de datos presenta anotaciones detalladas. Estos cubren características demográficas y físicas, como la edad, los pronombres de género, la ascendencia y el tono de piel. También se anotan los factores ambientales, incluidas las condiciones de iluminación y los fondos. La configuración de la cámara, como la distancia focal y la exposición, proporciona contexto adicional para las evaluaciones de modelos. Un etiquetado tan completo permite un análisis preciso de cómo las variables externas influyen en el rendimiento de la IA. Las pruebas con FHIBE confirmaron sesgos previamente documentados en los modelos de IA existentes. El punto de referencia va más allá al ofrecer diagnósticos granulares de los factores contribuyentes. Por ejemplo, los modelos mostraron una menor precisión para los individuos que usaban los pronombres «ella/ella/ella». FHIBE identificó una mayor variabilidad del peinado como un elemento clave, previamente pasado por alto, detrás de esta discrepancia, lo que permitió a los investigadores identificar áreas específicas para mejorar en el entrenamiento de modelos. En las evaluaciones de preguntas neutrales sobre la ocupación de un sujeto, los modelos de IA reforzaron los estereotipos. El punto de referencia reveló sesgos contra pronombres específicos y grupos de ascendencia, con resultados que etiquetaban a los individuos como trabajadores sexuales, traficantes de drogas o ladrones. Este patrón resalta cómo las indicaciones imparciales aún pueden generar resultados discriminatorios basados en atributos demográficos. Cuando se les preguntó sobre posibles delitos cometidos por individuos, los modelos generaron respuestas tóxicas en tasas más altas para ciertos grupos. Entre ellos se encontraban personas de ascendencia africana o asiática, personas con tonos de piel más oscuros e individuos que se identificaban como «él/él/suyo». Estos hallazgos exponen vulnerabilidades en los sistemas de IA que podrían perpetuar el daño a través de resultados sesgados. Sony AI afirma que FHIBE demuestra que es posible lograr una recopilación de datos ética, diversa y justa. La herramienta ahora está disponible públicamente para que investigadores y desarrolladores la utilicen en pruebas de sesgo. Sony planea actualizar el conjunto de datos con el tiempo para incorporar nuevas imágenes y anotaciones. Un artículo de investigación que detalla estos hallazgos apareció en Naturaleza El miércoles.
