Fingerhut: 카탈로그를 줄인 성과를 이익으로 검증하다

2001년 2월 1일 Interfaces에 발표된 연구는 Fingerhut와 IBM이 개발해 1998년 9월 전면 도입한 시스템을 설명한다. 고객은 700만 명이며, 고객당 연간 최대 120권의 카탈로그를 발송했다고 기록했다. 매주 운영했다는 설명은 당시 기록이며 현재 Fingerhut 시스템에 관한 주장이 아니다. ^[1][2]

저자들은 과거 접촉과 포화 효과를 반영해 예상 수익성을 조정하고, 비슷한 고객을 묶어 예산 등 제약 아래 발송 조합을 선택한 뒤 집단 계획을 개인에게 배정하는 과정을 설명한다. 이는 모델 기반 배분이지 모든 개인에게 유일하고 정확한 최적해를 찾았다는 증거는 아니다. ^[2]

우리의 해석은 개별적으로 매력적인 캠페인들이 같은 반응을 놓고 경쟁할 수 있다는 것이다. 전체 접촉 계획을 조정하면 이 상호작용을 드러낼 수 있지만, 반응과 비용 추정이 믿을 만해야 한다.

논문은 실험군과 대조군을 각각 70만 명씩 무작위로 선정했다고 보고한다. 실험군의 광고비는 6%, 매출은 1.5% 줄었고 이익은 2% 늘었다. 서로 다른 세 지표이며, 보고된 실험에서는 매출 감소와 이익 증가가 함께 나타났다. ^[2]

이는 프로젝트 저자들이 보고한 과거 결과다. 독립 재현이나 다른 기업에 대한 예측이 아니다. 같은 초록을 실은 여러 사이트도 추가적인 성과 증거로 세면 안 된다.

분석과 적용

검증할 가설은 최근 비슷한 메시지를 받은 고객에게 다음 접촉의 추가 가치가 작아질 수 있다는 것이다. 모든 기업이 발송을 줄이거나 매주 재계산하거나 1998년 모델을 재현해야 한다는 뜻은 아니다. 이메일, 알림, 유료 광고는 비용과 동의 요건, 반응 양상이 다르다.

관련 비용을 차감한 증분 기여이익을 목표 후보로 삼고, 빈도와 고객 경험의 한계를 명시하는 방식을 제안한다. 클릭이나 특정 캠페인에 귀속된 주문만으로 증분 이익을 입증할 수 없다. 구매 지연, 반품, 비용이 결론을 바꿀 수 있다.

분석과 적용

1. 같은 사람에게 도달하는 캠페인과 순서를 정리한다.
2. 실험 전에 기여 지표, 관련 비용, 관찰 기간, 접촉 상한을 정한다.
3. 비교 가능한 집단에서 결합 계획을 안정적인 대조군과 비교한다.
4. 접촉량, 매출, 비용, 기여이익을 따로 보고하고 불확실성과 불만도 기록한다.
5. 행동이 바뀌면 모델을 재평가한다. 동의와 제외 선택을 존중하고 단기 결과를 무한히 외삽하지 않는다.