트위터, 편향된 크롭 알고리즘을 전체 사진 표시로 대체하며 선택권을 사용자에게 넘기다

2018년 트위터는 돌출도 모델로 타임라인 사진을 크롭하기 시작했다. 인간의 시선 추적 데이터로 훈련된 소프트웨어가 시청자가 가장 먼저 볼 영역을 추정해 그곳을 중심으로 크롭함으로써 타임라인의 일관성과 밀도를 유지했다. 2020년 10월 사용자들은 자동 크롭이 사람들을 공평하게 대우하지 않는다고 보고했다. 백인 얼굴을 흑인 얼굴보다 선호하는 듯했고, 여성의 신체를 남성과 다르게 크롭하는 듯했다. 트위터는 모델의 편향을 다시 분석하겠다고 약속했다.

트위터의 META 팀과 콘텐츠 이해 팀은 통제된 실험을 설계했다. 인종과 성별이 다른 사람들의 이미지를 무작위로 짝지어 비교했으며, 모델이 인구통계학적으로 중립적이라면 각 이미지가 크롭 초점으로 선택될 확률이 50%여야 했다. 측정된 편향은 체계적이었다. 백인과 짝지어졌을 때 흑인 개인에 대해 4포인트 격차, 남녀 쌍에서 여성에게 유리한 8포인트 격차, 흑인 여성 대비 백인 여성에게 유리한 7포인트 격차가 나타났다. 남성 시선 크롭에 대한 테스트에서는 유의미한 대상화가 발견되지 않았다.

연구진은 형평성을 향해 재훈련하는 것으로는 피해를 해결할 수 없다고 결론지었다. 완벽하게 균형 잡힌 모델조차 사람들이 자신을 표현하는 방식을 여전히 무시하며, 재현적 피해는 통계적 오류가 아니라고 보았다. 논문은 가장 돌출된 단일 지점으로 크롭하는 것이 격차를 증폭시킬 수 있다고 지적했다. 트위터의 공개 결론은 플랫폼의 모든 것이 알고리즘에 적합한 후보는 아니며, 이미지를 어떻게 크롭할지는 사람이 결정하는 것이 가장 좋다는 것이었다.

2021년 3월 트위터는 iOS와 안드로이드에서 표준 화면 비율의 사진을 돌출도 크롭을 거치지 않고 전체로 표시하기 시작했고, 긍정적인 피드백을 받은 뒤 5월 19일까지 모든 사용자에게 변경 사항을 출시했다. 작성 도구에는 실제 미리보기가 추가되어 작성자가 게시 전에 게시될 이미지를 볼 수 있게 했으며, 회사는 분석 내용을 공개 재현 코드와 함께 논문으로 발표하며 이 모든 과정을 공개적 책임으로 규정했다.

형평성 지표로는 자기 표현을 무시하는 크롭을 고칠 수 없다 — 모델을 제거하고 사람이 선택하게 하라

통계적 형평성으로는 재현적 피해를 해결할 수 없었다. 형평성 중립적인 크롭조차 한 사람이 어떻게 보일지를 여전히 결정하므로, 문제는 매개변수가 아니라 모델 자체였다.

통제된 짝지은 이미지 프로토콜은 사용자의 일화를 측정 가능하고 재현 가능한 수치로 바꾸었으며, 인종과 성별 격차를 수치화해 이를 계산하는 데 사용된 코드와 함께 공개했다.

전체 이미지를 표시함으로써 크롭 오류의 범주 전체가 제거되었고, 논문이 argmax 편향이라 명명한 격차 증폭 단일 지점 규칙도 포함되었으며, 재감사할 새 모델은 남지 않았다.

작성 도구 미리보기는 게시하는 순간 작성자에게 통제권을 주었기에, 이 수정은 하나의 크롭 규칙을 다른 규칙으로 바꾸는 데 그치지 않고 주체성을 회복시켰다.

논문과 코드를 공개함으로써 대응은 감사 가능한 공개 기록이 되었고, 그래서 발표는 홍보가 아닌 책임으로 읽혔다.

사람이 어떻게 보일지를 결정하는 모델을 재훈련하기 전에, 그 출력이 예측인지 물어라. 자기 표현에 관한 것이라면 모델을 제거하고 선택권을 그 사람에게 넘겨라.

2021년 5월 19일까지 전체 이미지 표시는 모든 iOS 및 안드로이드 사용자에게 출시되었고, 트위터는 이번 출시로 크롭에 대한 머신러닝 의존도를 줄였다고 밝혔다. 분석 논문(arXiv 2105.08667, 2021년 5월)은 CSCW 2021에 채택되어 2021년 10월 PACM HCI에 게재되었으며, 재현 코드는 twitter-research image-crop-analysis 저장소에 있다. Hacker News 토론은 197포인트와 133개 댓글을 기록했다. 대부분의 독자는 수동 크롭 도구가 처음부터 있었어야 한다고 주장했고, 일부는 작성자가 크롭을 지정하지 않을 때 얼굴 인식 자동 크롭을 옹호했다.