Twitter a remplacé son algorithme de recadrage biaisé par des photos entières, laissant le choix aux utilisateurs

En 2018, Twitter a commencé à recadrer les photos de la timeline avec un modèle de saillance : un logiciel entraîné sur le suivi oculaire humain estimait la région que le spectateur regarderait en premier et y centrait le recadrage, afin de garder les timelines cohérentes et denses. En octobre 2020, des utilisateurs ont signalé que le recadrage automatique ne servait pas les gens de manière équitable — il semblait favoriser les visages blancs par rapport aux visages noirs et recadrer le corps des femmes d'une manière qui n'était pas appliquée aux hommes. Twitter s'est engagé à réanalyser le modèle pour détecter les biais.

Les équipes META et Content Understanding de Twitter ont conçu une expérience contrôlée : des paires aléatoires d'images de personnes de races et de genres différents étaient comparées, et chaque image aurait dû avoir 50 % de chances d'être choisie comme centre du recadrage si le modèle était démographiquement neutre. Les biais mesurés étaient systématiques — un écart de 4 points contre les personnes noires lorsqu'elles étaient associées à des personnes blanches, un écart de 8 points en faveur des femmes dans les paires homme-femme, et un écart de 7 points en faveur des femmes blanches par rapport aux femmes noires. Les tests de recadrage selon le regard masculin n'ont révélé aucune objectivation significative.

Les chercheurs ont conclu qu'un réentraînement vers la parité ne corrigerait pas le préjudice. Même un modèle parfaitement équilibré outrepasse encore la façon dont les gens choisissent de se représenter, et le préjudice représentationnel n'est pas une erreur statistique ; l'article notait qu'un recadrage vers un seul point le plus saillant pouvait amplifier les disparités. La conclusion publique de Twitter était que tout sur la plateforme n'est pas un bon candidat pour un algorithme, et que la façon de recadrer une image est une décision qui revient mieux aux personnes.

En mars 2021, Twitter a commencé à afficher les photos au format standard en entier sur iOS et Android au lieu de les faire passer par le recadrage par saillance, et après des retours positifs, a déployé le changement pour tout le monde le 19 mai. Le composeur a gagné un véritable aperçu afin que les auteurs puissent voir l'image publiée avant de poster, et l'entreprise a publié son analyse sous forme d'article avec un code de reproduction ouvert, présentant l'ensemble de l'exercice comme une redevabilité publique.

Les métriques d'équité ne peuvent pas corriger un recadrage qui outrepasse l'autoreprésentation — supprimer le modèle et laisser les gens choisir

L'équité statistique ne pouvait pas résoudre le préjudice représentationnel : même un recadrage neutre en termes de parité décide encore de l'apparence d'une personne, donc le modèle lui-même, et non ses paramètres, était le problème.

Un protocole contrôlé de paires d'images a transformé les anecdotes des utilisateurs en chiffres mesurés et reproductibles, avec les écarts de race et de genre quantifiés et publiés avec le code utilisé pour les calculer.

L'affichage des images entières a supprimé toute la classe d'erreurs de recadrage, y compris la règle du point unique amplifiant les disparités que l'article nommait biais argmax, sans laisser de nouveau modèle à réauditer.

L'aperçu du composeur a donné aux auteurs le contrôle au moment de la publication, de sorte que le correctif a restauré la capacité d'agir au lieu de simplement échanger une règle de recadrage contre une autre.

La publication de l'article et du code a fait de la réponse un document public auditable, ce qui explique pourquoi l'annonce a été perçue comme une redevabilité plutôt que comme une opération de communication.

Avant de réentraîner un modèle qui décide de l'apparence des gens, demandez-vous si la sortie est une prédiction ; quand il s'agit d'autoreprésentation, supprimez le modèle et remettez le choix à la personne.

Au 19 mai 2021, l'affichage en image entière avait été déployé auprès de tous les utilisateurs iOS et Android, et Twitter a déclaré que cette version réduisait sa dépendance à l'apprentissage automatique pour le recadrage. L'article d'analyse (arXiv 2105.08667, mai 2021) a été accepté à CSCW 2021 et est paru dans PACM HCI en octobre 2021, avec le code de reproduction dans le dépôt twitter-research image-crop-analysis. La discussion sur Hacker News a recueilli 197 points et 133 commentaires ; la plupart des lecteurs soutenaient qu'un outil de recadrage manuel aurait dû exister dès le départ, tandis que certains défendaient le recadrage automatique conscient des visages lorsqu'un auteur ne définit aucun recadrage.