En 2018 Twitter comenzó a recortar las fotos de la cronología con un modelo de saliencia: un software entrenado con seguimiento ocular humano estimaba la región que un espectador miraría primero y centraba allí el recorte, manteniendo las cronologías coherentes y densas. En octubre de 2020 los usuarios informaron de que el recorte automático no trataba a las personas de forma equitativa: parecía favorecer los rostros blancos sobre los negros y recortar los cuerpos de las mujeres de formas en que no lo hacía con los hombres. Twitter se comprometió a analizar de nuevo el modelo en busca de sesgos.
Los equipos META y Content Understanding de Twitter diseñaron un experimento controlado: se compararon pares aleatorios de imágenes de personas de distintas razas y géneros, y cada imagen debería haber tenido un 50 % de probabilidad de ser elegida como foco del recorte si el modelo fuera demográficamente neutro. Los sesgos medidos eran sistemáticos: una diferencia de 4 puntos en contra de las personas negras cuando se emparejaban con personas blancas, una diferencia de 8 puntos a favor de las mujeres en parejas hombre-mujer, y una diferencia de 7 puntos a favor de las mujeres blancas frente a las mujeres negras. Las pruebas de recorte por mirada masculina no encontraron objetivación significativa.
Los investigadores concluyeron que reentrenar hacia la paridad no remediaría el daño. Incluso un modelo perfectamente equilibrado sigue imponiéndose sobre cómo las personas eligen representarse, y el daño representacional no es un error estadístico; el artículo señalaba que recortar a un único punto más saliente podría amplificar las disparidades. La conclusión pública de Twitter fue que no todo en la plataforma es un buen candidato para un algoritmo, y que cómo se recorta una imagen es una decisión que mejor toman las personas.
En marzo de 2021 Twitter comenzó a mostrar fotos de relación de aspecto estándar completas en iOS y Android en lugar de pasarlas por el recorte por saliencia, y tras recibir comentarios positivos lanzó el cambio a todos el 19 de mayo. El compositor incorporó una vista previa real para que los autores pudieran ver la imagen publicada antes de publicarla, y la empresa publicó su análisis como un artículo con código de reproducción abierto, enmarcando todo el ejercicio como rendición de cuentas pública.
Las métricas de equidad no pueden arreglar un recorte que se impone sobre la autorrepresentación: elimina el modelo y deja que las personas elijan
La equidad estadística no pudo resolver el daño representacional: incluso un recorte neutro en paridad sigue decidiendo cómo aparece una persona, así que el problema era el modelo en sí, no sus parámetros.
Un protocolo controlado de pares de imágenes convirtió las anécdotas de los usuarios en cifras medidas y reproducibles, con las brechas de raza y género cuantificadas y publicadas junto con el código usado para calcularlas.
Mostrar las imágenes completas eliminó toda la clase de errores de recorte, incluida la regla de punto único que amplifica disparidades y que el artículo denominó sesgo argmax, sin que quedara ningún modelo nuevo que volver a auditar.
La vista previa del compositor dio a los autores control en el momento de publicar, de modo que la solución restauró la agencia en lugar de limitarse a cambiar una regla de recorte por otra.
La publicación del artículo y del código convirtió la respuesta en un registro público auditable, y por eso el anuncio se leyó como rendición de cuentas y no como propaganda.
Antes de reentrenar un modelo que decide cómo aparecen las personas, pregúntate si la salida es una predicción; cuando se trata de autorrepresentación, elimina el modelo y entrega la elección a la persona.
El 19 de mayo de 2021 la visualización de imagen completa ya se había distribuido a todos los usuarios de iOS y Android, y Twitter afirmó que el lanzamiento redujo su dependencia del aprendizaje automático para el recorte. El artículo de análisis (arXiv 2105.08667, mayo de 2021) fue aceptado en CSCW 2021 y apareció en PACM HCI en octubre de 2021, con código de reproducción en el repositorio twitter-research image-crop-analysis. La discusión en Hacker News reunió 197 puntos y 133 comentarios; la mayoría de los lectores sostenía que debería haber existido un recortador manual desde el principio, mientras que algunos defendían el recorte automático con detección de rostros cuando un autor no establece ningún recorte.
CONSULTA LAS PRUEBAS
Las fuentes
- Sharing learnings about our image cropping algorithm Twitter Engineering Blog · blog.twitter.com ·
- Image Cropping on Twitter: Fairness Metrics, their Limitations, and the Importance of Representation, Design, and Agency arXiv · arxiv.org ·
- Sharing learnings about our image cropping algorithm (Hacker News discussion) Hacker News · news.ycombinator.com ·