推薦系統之路(一)--起源

推薦系統之路(一)--起源

以所有公司的標配--推薦系統為例,講解最為詳細的推薦系統,中間會涉及到大量的算法,力求大家看完整個系列,可以對推薦系統有個直觀的認知,乃至可以真的開發一個具有實際用途的推薦系統,廢話不多說,我們開幹。


推薦系統出現的背景:信息過載問題

互聯網的出現和普及給用戶帶來了大量的信息,滿足了用戶在信息時代對信息的需求,但隨著網絡的迅速發展而帶來的網上信息量的大幅增長,使得用戶在面對大量信息時無法從中獲得對自己真正有用的那部分信息,對信息的使用效率反而降低了,這就是所謂的信息超載(informationoverload)問題。

解決信息過載一般有以下三種方案:

1. 類目導航:用戶主動按類目逐層查找

代表公司:雅虎,新浪,搜狐,網易等


2. 搜索:用戶主動提供意圖明確的query

3. 推薦:系統主動提供給用戶一種選擇

代表公司:今日頭條,Netflix等

相比於前兩種,推薦有什麼優勢呢?

1. 用戶在大多數情況下並沒有明確的意圖

2. 推薦可以幫助用戶發現,帶給用戶驚喜,用戶體驗感更好

推薦系統已經應用於各個領域,已是IT公司的標配了。


推薦系統發展歷程:

1995年3月,卡耐基.梅隆大學的RobertArmstrong等人在美國人工智能協會上提出了個性化導航系統Web Watcher;斯坦福大學的MarkoBalabanovic等人在同一會議上推出了個性化推薦系統LIRA;

1995年8月,麻省理工學院的Henry Lieberman在國際人工智能聯合大會(IJCAI)上提出了個性化導航智能體Letizia;

1996年, Yahoo 推出了個性化入口My Yahoo;

1997年,AT&T實驗室提出了基於協作過濾的個性化推薦系統PHOAKS和Referral Web;

1999年,德國Dresden技術大學的Tanja Joerding實現了個性化電子商務原型系統TELLIM;

2000年,NEC研究院的Kurt等人為搜索引擎CiteSeer增加了個性化推薦功能;

2001年,紐約大學的Gediminas Adoavicius和Alexander Tuzhilin實現了個性化電子商務網站的用戶建模系統1:1Pro;

2001年,IBM公司在其電子商務平臺Websphere中增加了個性化功能,以便商家開發個性化電子商務網站。

2003年,Google開創了AdWords盈利模式,通過用戶搜索的關鍵詞來提供相關的廣告。AdWords的點擊率很高,是Google廣告收入的主要來源。

2007年3月開始,Google為AdWords添加了個性化元素。不僅僅關注單次搜索的關鍵詞,而是對用戶一段時間內的搜索歷史進行記錄和分析,據此瞭解用戶的喜好和需求,更為精確地呈現相關的廣告內容。

2007年,雅虎推出了SmartAds廣告方案。雅虎掌握了海量的用戶信息,如用戶的性別、年齡、收入水平、地理位置以及生活方式等,再加上對用戶搜索、瀏覽行為的記錄,使得雅虎可以為用戶呈現個性化的橫幅廣告。

2009年,Overstock(美國著名的網上零售商)開始運用ChoiceStream公司製作的個性化橫幅廣告方案,在一些高流量的網站上投放產品廣告。Overstock在運行這項個性化橫幅廣告的初期就取得了驚人的成果,公司稱:“廣告的點擊率是以前的兩倍,伴隨而來的銷售增長也高達20%至30%。”

2009年7月,國內首個推薦系統科研團隊北京百分點信息科技有限公司成立,該團隊專注於推薦引擎技術與解決方案,在其推薦引擎技術與數據平臺上彙集了國內外百餘家知名電子商務網站與資訊類網站,並通過這些B2C網站每天為數以千萬計的消費者提供實時智能的商品推薦。

2011年9月,百度世界大會2011上,李彥宏將推薦引擎與雲計算、搜索引擎並列為未來互聯網重要戰略規劃以及發展方向。百度新首頁將逐步實現個性化,智能地推薦出用戶喜歡的網站和經常使用的APP。


推薦系統的應用和價值


推薦系統的應用:

1. 音樂、電影的推薦

2. 電子商務中商品推薦

3. 個性化閱讀(新聞消息,小說)

4. 社交網絡好友推薦,朋友圈推薦

5. 基於位置的服務推薦

6. .....

推薦的價值:

1. Netflix: 2/3的電影是因為被推薦而觀看

2. Google News:推薦推升了38%的點擊

3. Amazon:銷售中推薦佔比高達35%


推薦系統的評價標準:

  1. 用戶滿意度( User satisfaction):調硏或用戶反饋;點擊率、轉化率等
  2. 準確性( Accuracy): precision/reca/F- score
  3. 覆蓋率( Coverage):照顧到尾部物品和用戶
  4. 多樣性( Diversity):兩兩之間不相似
  5. 新穎性( Novelty):沒聽過、沒見過的物品
  6. 驚喜性( Serendipity):如何評價?
  7. 用戶信任度(〔rust)冋可解釋性( explanation):推薦理由
  8. 魯棒性/健壯性(Rσbustηess):哈利波特現象;抗攻擊、反作弊
  9. 實時性( Real-time/ online):新加入的物品;新的用戶行為(實時意圖)
  10. 商業目標( business target):一個用戶帶來多少盈利


而推薦系統最為核心的問題就是如何評價一個用戶(User)對一個物品(Item)的評分(喜好程度)?

推薦系統之路(一)--起源

對於這個問題,我會在後續的文章中一一的給大家講解,歡迎關注後續內容



分享到:


相關文章: