Twitterは偏りのあるクロップアルゴリズムを廃止し、写真を全体表示して選択をユーザーに委ねた

2018年、Twitterは顕著性モデルを使ってタイムラインの写真をクロップするようになった。人間の視線追跡データで訓練されたソフトウェアが、閲覧者が最初に目を向ける領域を推定し、そこを中心にクロップすることで、タイムラインの一貫性と密度を保っていた。2020年10月、ユーザーから、自動クロップが人々を公平に扱っていないとの報告が上がった。白人以外の顔よりも白人の顔を優先し、男性の体はそうされない形で女性の体をクロップしているように見えたのだ。Twitterはモデルの偏りを再分析することを約束した。

TwitterのMETAチームとContent Understandingチームは対照実験を構築した。人種や性別の異なる人物の画像をランダムにペアにして比較し、モデルが人口統計的に中立であれば、各画像がクロップの焦点として選ばれる確率は50%であるはずだった。測定された偏りは体系的だった。白人とペアにした場合の黒人に対する4ポイントの差、男女ペアにおける女性に有利な8ポイントの差、黒人女性に対する白人女性に有利な7ポイントの差である。男性の視線によるクロップについてのテストでは、有意な客体化は見つからなかった。

研究者たちは、平等に向けた再訓練では害は解決しないと結論づけた。完全に均衡の取れたモデルであっても、人々が自分自身をどう表現するかの選択を覆してしまう。そして表象上の害は統計的誤差ではない。論文は、最も顕著な単一の点にクロップすることが格差を増幅しうると指摘した。Twitterの公式な結論は、プラットフォーム上のすべてがアルゴリズムに適した候補ではないということであり、画像をどうクロップするかは人間が決めるのが最善だということであった。

2021年3月、TwitterはiOSとAndroidで標準のアスペクト比の写真を顕著性クロップに通すのではなく、そのまま全体表示するようになった。好意的な反応を受けて、5月19日までに全員にこの変更を展開した。投稿作成画面には真のプレビューが追加され、投稿者が公開前に公開後の画像を確認できるようになった。また同社は分析結果を再現用コード付きの論文として公開し、この一連の取り組みを公的な説明責任と位置づけた。

公平性の指標では、自己表現を覆すクロップは解決できない。モデルを取り除き、人々に選ばせよう

統計的な公平性では表象上の害を解決できなかった。平等に中立なクロップであっても、人がどう見えるかを決めてしまうため、問題はパラメータではなくモデルそのものにあった。

対照的なペア画像のプロトコルにより、ユーザーの逸話が測定可能で再現可能な数値に変わり、人種と性別の格差が定量化され、計算に使ったコードとともに公開された。

画像全体を表示することで、クロップの誤りのカテゴリ全体が取り除かれた。論文がargmaxバイアスと名付けた、格差を増幅する単一の点のルールも含まれ、再監査すべき新しいモデルは残らなかった。

投稿作成画面のプレビューにより、投稿者は公開の瞬間にコントロールを得た。修正は単にクロップのルールを一つ別のものに取り替えるのではなく、主体性を取り戻すものになった。

論文とコードを公開したことで、対応は監査可能な公的記録となった。だからこそ発表は宣伝ではなく説明責任として読まれた。

人の見え方を決めるモデルを再訓練する前に、その出力が予測なのかを問おう。自己表現であるなら、モデルを取り除き、選択を本人に委ねよう。

2021年5月19日までに、画像全体の表示はすべてのiOSおよびAndroidユーザーに展開され、Twitterはこのリリースによりクロップにおける機械学習への依存が減ったと述べた。分析論文（arXiv 2105.08667、2021年5月）はCSCW 2021に採択され、2021年10月にPACM HCIに掲載された。再現用コードはtwitter-researchのimage-crop-analysisリポジトリにある。Hacker Newsの議論は197ポイントと133件のコメントを集めた。多くの読者は手動のクロッパーが最初からあるべきだったと主張した一方、投稿者がクロップを設定しない場合の顔認識による自動クロップを擁護する声もあった。