2018 年,Twitter 開始以顯著性模型裁切時間軸照片:這套軟體以人類眼動追蹤資料訓練,用來估計觀看者會最先注視的區域,並將裁切範圍置中於該處,使時間軸維持一致且密集。2020 年 10 月,使用者回報自動裁切並未公平地對待所有人——它似乎偏好白人面孔而非黑人面孔,且裁切女性身體的方式與男性不同。Twitter 承諾再次分析該模型是否有偏差。

Twitter 的 META 與 Content Understanding 團隊設計了一項對照實驗:隨機配對不同種族與性別的人物影像進行比較,若模型在人口統計上中立,每張影像被選為裁切焦點的機率應為 50%。測得的偏差是系統性的——黑人與白人配對時,對黑人不利的差距為 4 個百分點;男女配對時,對女性有利的差距為 8 個百分點;白人女性對黑人女性時,對白人女性有利的差距為 7 個百分點。針對男性凝視式裁切的測試則未發現顯著的物化現象。

研究人員的結論是,朝向均等重新訓練模型並無法修正這項傷害。即使模型完全均衡,仍會凌駕於人們選擇如何呈現自己的意願之上,而再現性傷害並非統計誤差;論文指出,裁切至單一最顯著點可能放大差異。Twitter 公開的結論是,平台上並非所有事物都適合交由演算法處理,而影像該如何裁切,最好由人來決定。

2021 年 3 月,Twitter 開始在 iOS 與 Android 上以標準長寬比完整顯示照片,而非讓照片經過顯著性裁切;在獲得正面回饋後,於 5 月 19 日向所有人推出這項變更。發文編輯器新增了真正的預覽功能,讓作者在發文前能看到發布後的影像,該公司並將分析結果連同可公開重現的程式碼以論文形式發表,將整項工作定位為公開問責。

公平性指標無法修正凌駕於自我呈現之上的裁切——移除模型,讓人們自行選擇

統計公平性無法解決再現性傷害:即使是均等中立的裁切,仍決定了個人呈現的方式,因此問題出在模型本身,而非其參數。

受控的配對影像實驗 protocol 將使用者的軼事轉化為可測量、可重現的數字,種族與性別差距均被量化,並與計算所用的程式碼一同公開。

顯示完整影像消除了整類裁切錯誤,包括論文中稱為 argmax 偏差、會放大差異的單點規則,且不再留下需要重新稽核的新模型。

發文編輯器的預覽功能讓作者在發布當下握有控制權,因此這項修正恢復了自主權,而非只是把一套裁切規則換成另一套。

發表論文與程式碼使這項回應成為可稽核的公開紀錄,這也是為何該公告讀來像是問責,而非公關話術。

在重新訓練一個決定人們如何呈現的模型之前,先問這項輸出是否為預測;當它涉及自我呈現時,移除模型,將選擇權交還給個人。

至 2021 年 5 月 19 日,完整影像顯示功能已向所有 iOS 與 Android 使用者推出,Twitter 表示此次發布降低了對機器學習裁切的依賴。分析論文(arXiv 2105.08667,2021 年 5 月)獲 CSCW 2021 接受,並於 2021 年 10 月刊登於 PACM HCI,重現程式碼收錄於 twitter-research 的 image-crop-analysis 儲存庫。Hacker News 的討論獲得 197 分與 133 則留言;多數讀者主張從一開始就應提供手動裁切工具,部分讀者則為作者未設定裁切時的人臉感知自動裁切辯護。

追溯依據

參考來源

  1. Sharing learnings about our image cropping algorithm Twitter Engineering Blog · blog.twitter.com ·
  2. Image Cropping on Twitter: Fairness Metrics, their Limitations, and the Importance of Representation, Design, and Agency arXiv · arxiv.org ·
  3. Sharing learnings about our image cropping algorithm (Hacker News discussion) Hacker News · news.ycombinator.com ·