Twitter ersetzte seinen voreingenommenen Zuschneide-Algorithmus durch vollständige Fotos und überließ die Wahl den Nutzern

Im Jahr 2018 begann Twitter, Fotos in der Timeline mit einem Salienzmodell zuzuschneiden: Software, die anhand menschlicher Blickverfolgung trainiert wurde, schätzte den Bereich, den ein Betrachter zuerst ansehen würde, und zentrierte den Zuschnitt dort, um Timelines konsistent und dicht zu halten. Im Oktober 2020 berichteten Nutzer, dass der automatische Zuschnitt Menschen nicht gerecht behandle – er schien weiße Gesichter gegenüber schwarzen zu bevorzugen und Frauenkörper anders zuzuschneiden als Männerkörper. Twitter verpflichtete sich, das Modell erneut auf Voreingenommenheit zu analysieren.

Die META- und Content-Understanding-Teams von Twitter bauten ein kontrolliertes Experiment: Zufällige Bildpaare von Menschen unterschiedlicher Rasse und Geschlechts wurden verglichen, und jedes Bild hätte eine 50-prozentige Chance haben müssen, als Fokus des Zuschnitts gewählt zu werden, wenn das Modell demografisch neutral wäre. Die gemessenen Verzerrungen waren systematisch – eine Lücke von 4 Punkten zulasten schwarzer Personen in Paaren mit weißen Personen, eine Lücke von 8 Punkten zugunsten von Frauen in männlich-weiblichen Paaren und eine Lücke von 7 Punkten zugunsten weißer Frauen gegenüber schwarzen Frauen. Tests auf Zuschnitt nach männlichem Blick ergaben keine signifikante Objektivierung.

Die Forscher kamen zu dem Schluss, dass ein Neutraining auf Parität den Schaden nicht beheben würde. Selbst ein perfekt ausbalanciertes Modell überschreibt noch, wie Menschen sich selbst darstellen wollen, und Darstellungsschaden ist kein statistischer Fehler; das Papier merkte an, dass der Zuschnitt auf einen einzigen salientesten Punkt Ungleichheiten verstärken könnte. Twitters öffentliches Fazit war, dass nicht alles auf der Plattform ein guter Kandidat für einen Algorithmus ist und dass die Entscheidung, wie ein Bild zugeschnitten wird, am besten von Menschen getroffen wird.

Im März 2021 begann Twitter, Fotos im Standard-Seitenverhältnis auf iOS und Android vollständig anzuzeigen, statt sie durch den Salienz-Zuschnitt laufen zu lassen, und nach positivem Feedback führte das Unternehmen die Änderung bis zum 19. Mai für alle ein. Der Composer erhielt eine echte Vorschau, damit Autoren das veröffentlichte Bild vor dem Posten sehen konnten, und das Unternehmen veröffentlichte seine Analyse als Paper mit offenem Reproduktionscode und rahmte die ganze Übung als öffentliche Rechenschaftspflicht ein.

Fairness-Metriken können einen Zuschnitt nicht reparieren, der die Selbstdarstellung überschreibt – das Modell entfernen und die Menschen wählen lassen

Statistische Fairness konnte Darstellungsschaden nicht lösen: Selbst ein paritätsneutraler Zuschnitt entscheidet noch, wie eine Person erscheint, sodass das Modell selbst, nicht seine Parameter, das Problem war.

Ein kontrolliertes Protokoll mit Bildpaaren verwandelte Nutzeranekdoten in gemessene, reproduzierbare Zahlen, wobei Lücken bei Rasse und Geschlecht quantifiziert und zusammen mit dem zu ihrer Berechnung verwendeten Code veröffentlicht wurden.

Die Anzeige vollständiger Bilder beseitigte die gesamte Klasse von Zuschnittfehlern, einschließlich der ungleichheitsverstärkenden Einzelpunkt-Regel, die das Papier als Argmax-Bias bezeichnete, ohne dass ein neues Modell zur erneuten Prüfung übrig blieb.

Die Composer-Vorschau gab Autoren im Moment der Veröffentlichung Kontrolle, sodass die Korrektur Handlungsfähigkeit wiederherstellte, statt nur eine Zuschnittregel gegen eine andere zu tauschen.

Die Veröffentlichung von Paper und Code machte die Reaktion zu einem überprüfbaren öffentlichen Dokument, weshalb die Ankündigung als Rechenschaftspflicht und nicht als Spin gelesen wurde.

Bevor man ein Modell neu trainiert, das entscheidet, wie Menschen erscheinen, sollte man fragen, ob die Ausgabe eine Vorhersage ist; wenn es um Selbstdarstellung geht, das Modell entfernen und die Wahl der Person überlassen.

Bis zum 19. Mai 2021 war die Vollbildanzeige für jeden iOS- und Android-Nutzer ausgerollt, und Twitter erklärte, die Veröffentlichung habe die Abhängigkeit von ML beim Zuschneiden verringert. Das Analyse-Paper (arXiv 2105.08667, Mai 2021) wurde zur CSCW 2021 angenommen und erschien im Oktober 2021 in PACM HCI, mit Reproduktionscode im Repository twitter-research image-crop-analysis. Die Hacker-News-Diskussion erreichte 197 Punkte und 133 Kommentare; die meisten Leser argumentierten, ein manueller Zuschneider hätte von Anfang an existieren sollen, während einige gesichtserkennendes automatisches Zuschneiden verteidigten, wenn ein Autor keinen Zuschnitt festlegt.