解决方案
1999年Naver以韩国首个本土搜索引擎上线时,韩语网络内容还很少——用韩文提出的日常问题无处安放。2002年10月,NHN以Knowledge iN(지식iN)回应了这一需求:一个可以提出任何问题、由其他用户作答的地方,每一次交流都被存储并“持续建库”,以便能出现在搜索结果中,正如《Digital Times》后来在公司历史中所描述的那样。
这一循环不断累积放大。答案可获得“naegong”积分和答主等级;已解答的问题成为搜索者真正会点击的页面。在最初的十年里,Knowledge iN从1300万名提问者那里收集了超过1亿个问题,由700万名用户作答。NHN于2003年从Daum手中夺得韩国搜索的头把交椅,并于2008年成为首家营收达到1万亿韩元的韩国互联网公司——Knowledge iN被列为其代表性服务。
这一语料库也是一道护城河:Knowledge iN的内容只能在Naver内部搜索,因此谷歌能够抓取的页面,恰恰是Naver的机器排除在其索引之外的那些页面。这一机制随时间推移而退化——一项被引用的研究发现,约35%被采纳的答案从未被更正,刷答案和广告使搜索结果变得杂乱,到2011年,专栏作家们已在发表“改用谷歌搜索”的文章。Naver的回应是在众包内容之上叠加经过认证的专家。
它取得了什么
不要去抓取答案——让用户来撰写并为其建立索引
为何奏效
真正的制约是语言规模的内容,而只有母语用户才能以所需的速度生产出来——任何爬虫或编辑团队都做不到。
被索引的问答页面使每一份贡献都永久留存且可被找到,因此一个答案能在多年间持续回报搜索引擎。
积分和等级把一个求助论坛变成了地位游戏,这正是无需现金支付便能维系700万答主的原因。
让语料库只能在Naver内部搜索,意味着这一飞轮的产出是专有的——竞争对手再好的爬虫也无内容可抓。
可以借鉴什么
当你需要的内容尚不存在时,就构建一个让用户生产内容的循环。积分和等级所能产出的内容可以超过任何抓取预算,而你拥有的语料库会不断累积增值。
后续
Knowledge iN比2000年代初的所有竞争对手门户都存续得更久,到2019年已累计超过3.25亿个答案。但众包内容的质量问题变成了Naver的声誉问题:未更正的答案、恶搞帖子和广告在整个2010年代把韩国用户推向谷歌去进行参考类查询。Naver的解决办法是混合化——在众包语料库之上增加律师和医生咨询以及专家答案,而不是将其弃置。
从这里,追溯依据
参考来源
- NHN, 검색 전문·고도화 모바일로 확대 디지털타임스 (Digital Times) · dt.co.kr ·
- '초콜릿 만들기' 검색하려면 '구글'로 해라 오마이뉴스 (OhmyNews) · ohmynews.com
- 지식iN 한국어 위키백과 · ko.wikipedia.org