|
知乎已经走过了4年年头,在互联网的世界里,知乎已经成为无可争议的高质量社区,但在经历了高速发展之后,如何管理,筛选,呈现这些大量的信息(数据)成为一个难题,事实上无论对于哪一个社区而言,数据的管理本身就是一个巨大的挑战。知乎是如何下面是知乎联合创始人在七牛大会上的关于知乎数据方面的演讲,虎嗅进行了删
2、知乎是一个社交网络,用户的社交行为会产生影响,用户的行为会带来关注他的人首页的变化。 3时间因素,一些内容及时出现在你面前,可以让它的价值更大 知乎的首页有一套专用的数据收集和处理机制,可以记录用户在首页的所有重要动作,比如,如果某条内容出现在用户浏览器窗口或手机屏幕的可见范围内,就会记录一次。 以及…… 知乎还有一些其他的数据优化,我举几个例子做简单介绍。 邀请回答 稍微熟悉知乎的用户,应该知道谢邀这个词,这个产品功能是为每一个问题找到合适的回答者,推荐给用户。我们采取一种算法模型预测某个用户回答某问题的可能性和回答质量。有 90% 的邀请是通过这种推荐结果发出的,剩下 10% 是用户主动搜索产生的 每周知乎精选邮件(eDM) 针对每个用户做了个性化的计算,通过不断的算法优化,我们已经做到了30%的打开率和14%的点击率。 问题聚类 众所周知想对问题的文本进行聚类,最先想到的是通过文本语义匹配,通过复杂的词袋模型(如传统的plsa,LDA,新的word2vec等)对问题文本进行向量化,这样通过语义将相关问题聚类起来。 知乎站内拥有庞大的用户浏览数据,如果将这些浏览数据通过简单地算法(如协同过滤)建立一个模型同样也能达到很好地效果。 知乎每天的问答浏览量能够达到千万级别,这样就意味着输入给算法的user-item的边数每天能够达到千万以上,近3个月的浏览数据就可以达到10亿条边。在知乎的数据平台上需要近一小时的时间来建立模型,从聚类的结果中可以看出,即使不使用任何文本相关的分析,单靠用户浏览的行为分析就可以很好地对问题进行聚类。 这也印证了一点:大数据基础上的简单算法比小数据基础上的复杂算法更加有效。 编辑 苗冀川 (责任编辑:职场达人) |


