네이버 지식iN: 검색 이용자들이 답변을 썼고, 네이버는 그 모든 답변을 색인했다

네이버가 1999년 한국 최초의 자체 검색엔진으로 출시했을 때, 한국어 웹은 작았다. 한글로 된 일상적인 질문이 머무를 곳이 없었다. 2002년 10월 NHN은 지식iN으로 이에 답했다. 무엇이든 묻고 다른 이용자로부터 답을 얻는 공간이었고, 모든 문답은 저장되어 '지속적으로 데이터베이스화'됨으로써 검색 결과에 노출될 수 있었다고 디지털타임스는 훗날 이 회사의 역사를 다루며 설명했다.

이 순환은 복리로 쌓였다. 답변은 '내공' 점수와 답변자 등급을 얻었고, 답변이 달린 질문은 검색 이용자들이 실제로 클릭하는 페이지가 되었다. 첫 10년 동안 지식iN은 1,300만 명의 질문자로부터 1억 건이 넘는 질문을 모았고, 700만 명의 이용자가 답변했다. NHN은 2003년 다음을 제치고 한국 검색 1위에 올랐고, 2008년에는 한국 인터넷 기업 최초로 매출 1조 원을 달성했는데, 지식iN은 대표 서비스로 꼽혔다.

이 코퍼스는 해자이기도 했다. 지식iN 콘텐츠는 네이버 안에서만 검색할 수 있었기 때문에, 구글이 크롤링할 수 있는 페이지는 정확히 네이버의 기계가 색인에서 배제한 페이지들이었다. 이 메커니즘은 시간이 지나며 약화되었다. 인용된 한 연구는 채택된 답변의 약 35%가 전혀 수정되지 않았다고 밝혔고, 답변 파밍과 광고가 검색 결과를 어지럽혔으며, 2011년 무렵에는 칼럼니스트들이 '대신 구글에서 검색하라'는 글을 게재하고 있었다. 네이버는 군중 위에 검증된 전문가를 겹쳐 쌓는 방식으로 대응했다.

답변을 크롤링하지 말고, 이용자가 직접 쓰고 색인하게 하라

진짜 제약은 언어 규모의 콘텐츠였고, 필요한 속도로 그것을 생산할 수 있는 것은 원어민 이용자뿐이었다. 어떤 크롤러나 편집팀도 그 일을 해낼 수 없었다.

색인된 Q&A 페이지는 각 기여를 영구적이고 찾을 수 있는 것으로 만들었기에, 답변 하나가 수년간 검색엔진에 보답을 계속했다.

점수와 등급은 도움말 포럼을 지위 게임으로 바꾸었고, 그것이 현금 지급 없이 700만 명의 답변자를 유지시킨 힘이었다.

코퍼스를 네이버 안에서만 검색 가능하게 유지함으로써 플라이휠의 산출물은 독점적이 되었다. 경쟁사의 더 나은 크롤러라도 크롤링할 것이 없었다.

필요한 콘텐츠가 존재하지 않는다면, 이용자가 그것을 생산하게 만드는 순환을 구축하라. 점수와 등급은 어떤 크롤링 예산보다도 더 많이 생산해낼 수 있으며, 소유한 코퍼스는 복리로 쌓인다.

지식iN은 2000년대 초반의 모든 경쟁 포털보다 오래 살아남았고, 2019년까지 3억 2,500만 건이 넘는 답변을 축적했다. 그러나 군중의 품질 문제는 네이버의 평판 문제가 되었다. 수정되지 않은 답변, 장난 글, 광고가 2010년대 내내 한국 이용자들을 참고형 질의에서는 구글로 밀어냈다. 네이버의 해법은 혼종화였다. 군중 코퍼스를 버리는 대신 그 위에 변호사·의사 상담과 전문가 답변을 더하는 것이었다.