推荐系统之路(一)--起源

推荐系统之路(一)--起源

以所有公司的标配--推荐系统为例,讲解最为详细的推荐系统,中间会涉及到大量的算法,力求大家看完整个系列,可以对推荐系统有个直观的认知,乃至可以真的开发一个具有实际用途的推荐系统,废话不多说,我们开干。


推荐系统出现的背景:信息过载问题

互联网的出现和普及给用户带来了大量的信息,满足了用户在信息时代对信息的需求,但随着网络的迅速发展而带来的网上信息量的大幅增长,使得用户在面对大量信息时无法从中获得对自己真正有用的那部分信息,对信息的使用效率反而降低了,这就是所谓的信息超载(informationoverload)问题。

解决信息过载一般有以下三种方案:

1. 类目导航:用户主动按类目逐层查找

代表公司:雅虎,新浪,搜狐,网易等


2. 搜索:用户主动提供意图明确的query

3. 推荐:系统主动提供给用户一种选择

代表公司:今日头条,Netflix等

相比于前两种,推荐有什么优势呢?

1. 用户在大多数情况下并没有明确的意图

2. 推荐可以帮助用户发现,带给用户惊喜,用户体验感更好

推荐系统已经应用于各个领域,已是IT公司的标配了。


推荐系统发展历程:

1995年3月,卡耐基.梅隆大学的RobertArmstrong等人在美国人工智能协会上提出了个性化导航系统Web Watcher;斯坦福大学的MarkoBalabanovic等人在同一会议上推出了个性化推荐系统LIRA;

1995年8月,麻省理工学院的Henry Lieberman在国际人工智能联合大会(IJCAI)上提出了个性化导航智能体Letizia;

1996年, Yahoo 推出了个性化入口My Yahoo;

1997年,AT&T实验室提出了基于协作过滤的个性化推荐系统PHOAKS和Referral Web;

1999年,德国Dresden技术大学的Tanja Joerding实现了个性化电子商务原型系统TELLIM;

2000年,NEC研究院的Kurt等人为搜索引擎CiteSeer增加了个性化推荐功能;

2001年,纽约大学的Gediminas Adoavicius和Alexander Tuzhilin实现了个性化电子商务网站的用户建模系统1:1Pro;

2001年,IBM公司在其电子商务平台Websphere中增加了个性化功能,以便商家开发个性化电子商务网站。

2003年,Google开创了AdWords盈利模式,通过用户搜索的关键词来提供相关的广告。AdWords的点击率很高,是Google广告收入的主要来源。

2007年3月开始,Google为AdWords添加了个性化元素。不仅仅关注单次搜索的关键词,而是对用户一段时间内的搜索历史进行记录和分析,据此了解用户的喜好和需求,更为精确地呈现相关的广告内容。

2007年,雅虎推出了SmartAds广告方案。雅虎掌握了海量的用户信息,如用户的性别、年龄、收入水平、地理位置以及生活方式等,再加上对用户搜索、浏览行为的记录,使得雅虎可以为用户呈现个性化的横幅广告。

2009年,Overstock(美国著名的网上零售商)开始运用ChoiceStream公司制作的个性化横幅广告方案,在一些高流量的网站上投放产品广告。Overstock在运行这项个性化横幅广告的初期就取得了惊人的成果,公司称:“广告的点击率是以前的两倍,伴随而来的销售增长也高达20%至30%。”

2009年7月,国内首个推荐系统科研团队北京百分点信息科技有限公司成立,该团队专注于推荐引擎技术与解决方案,在其推荐引擎技术与数据平台上汇集了国内外百余家知名电子商务网站与资讯类网站,并通过这些B2C网站每天为数以千万计的消费者提供实时智能的商品推荐。

2011年9月,百度世界大会2011上,李彦宏将推荐引擎与云计算、搜索引擎并列为未来互联网重要战略规划以及发展方向。百度新首页将逐步实现个性化,智能地推荐出用户喜欢的网站和经常使用的APP。


推荐系统的应用和价值


推荐系统的应用:

1. 音乐、电影的推荐

2. 电子商务中商品推荐

3. 个性化阅读(新闻消息,小说)

4. 社交网络好友推荐,朋友圈推荐

5. 基于位置的服务推荐

6. .....

推荐的价值:

1. Netflix: 2/3的电影是因为被推荐而观看

2. Google News:推荐推升了38%的点击

3. Amazon:销售中推荐占比高达35%


推荐系统的评价标准:

  1. 用户满意度( User satisfaction):调硏或用户反馈;点击率、转化率等
  2. 准确性( Accuracy): precision/reca/F- score
  3. 覆盖率( Coverage):照顾到尾部物品和用户
  4. 多样性( Diversity):两两之间不相似
  5. 新颖性( Novelty):没听过、没见过的物品
  6. 惊喜性( Serendipity):如何评价?
  7. 用户信任度(〔rust)冋可解释性( explanation):推荐理由
  8. 鲁棒性/健壮性(Rσbustηess):哈利波特现象;抗攻击、反作弊
  9. 实时性( Real-time/ online):新加入的物品;新的用户行为(实时意图)
  10. 商业目标( business target):一个用户带来多少盈利


而推荐系统最为核心的问题就是如何评价一个用户(User)对一个物品(Item)的评分(喜好程度)?

推荐系统之路(一)--起源

对于这个问题,我会在后续的文章中一一的给大家讲解,欢迎关注后续内容



分享到:


相關文章: