Python爬蟲&可視化之舌尖上的“小龍蝦”

今天 我們來聊一聊小龍蝦!

Python爬蟲&可視化之舌尖上的“小龍蝦”


PART1:獲得數據

本次數據我們爬取了大眾點評中所有打上小龍蝦標籤的餐廳

Python爬蟲&可視化之舌尖上的“小龍蝦”

從上圖中可以看出,我們可以獲得餐廳的人均消費、點評數量、推薦菜、評分(口味、環境、服務)等信息,用於我們之後的分析。我們此次總共爬取到了225個城市,6758個餐廳,121.3萬條評論。

我們截取其中的部分核心代碼:

  1. def
  2. find_city_page
  3. (
  4. path
  5. ):
  6. data
  7. =
  8. pd
  9. .
  10. read_excel
  11. (
  12. path
  13. )
  14. city_lobster_page
  15. =
  16. pd
  17. .
  18. DataFrame
  19. ()
  20. driver
  21. =
  22. webdriver
  23. .
  24. Chrome
  25. ()
  26. for
  27. i
  28. in
  29. range
  30. (
  31. 0
  32. ,
  33. len
  34. (
  35. data
  36. )):
  37. try
  38. :
  39. js
  40. =
  41. 'window.open("'
  42. +
  43. data
  44. [
  45. 'city_lobster_url'
  46. ][
  47. i
  48. ]+
  49. '")'
  50. driver
  51. .
  52. execute_script
  53. (
  54. js
  55. )
  56. bsObj
  57. =
  58. BeautifulSoup
  59. (
  60. driver
  61. .
  62. page_source
  63. ,
  64. 'html.parser'
  65. )
  66. bs
  67. =
  68. bsObj
  69. .
  70. find_all
  71. (
  72. 'a'
  73. ,
  74. attrs
  75. ={
  76. 'class'
  77. :
  78. 'PageLink'
  79. })
  80. this_city_lobster
  81. ={
  82. 'city_name'
  83. :
  84. data
  85. [
  86. 'city_name'
  87. ][
  88. i
  89. ],
  90. 'page_num'
  91. :
  92. max
  93. ([
  94. int
  95. (
  96. l
  97. .
  98. text
  99. )
  100. for
  101. l
  102. in
  103. bs
  104. ])}
  105. city_lobster_page
  106. =
  107. city_lobster_page
  108. .
  109. append
  110. (
  111. this_city_lobster
  112. ,
  113. ignore_index
  114. =
  115. True
  116. )
  117. except
  118. :
  119. continue
  120. return
  121. city_lobster_page

PART2: 城市對比

我們首先要進行分析的是各個城市的小龍蝦熱度,我們以帶有“小龍蝦”標籤的餐廳評論總和作為最終的對比依據,得到的TOP20城市如下:

Python爬蟲&可視化之舌尖上的“小龍蝦”

可以看出上海市的點評數遙遙領先,可能存在以下兩個因素:a.上海市的小龍蝦餐廳數量較多,本身存在較大的消費群體 b.大眾點評總部在上海,上海的商戶入駐數量較多。有興趣的朋友可以進行更深一步的研究。

圈定了TOP20城市後,我們首先看一下TOP20城市小龍蝦的人均消費

Python爬蟲&可視化之舌尖上的“小龍蝦”

該項統計中,包郵區佔據了靠前的位置,體現出來包郵區對小龍蝦的熱情和自身的消費水平。同時可以看到株洲的人均消費接近於上海的一半,有機會到湖南旅遊的朋友可以考慮到株洲品嚐物美價廉的小龍蝦。

緊接著要看的是TOP20城市味道、環境、服務三部分的分數情況:

Python爬蟲&可視化之舌尖上的“小龍蝦”

Python爬蟲&可視化之舌尖上的“小龍蝦”

Python爬蟲&可視化之舌尖上的“小龍蝦”

我們發現服務分與環境分排序相同,二者具有極強的相關性,符合通常認知。同時可以看到在三項分數中,北方的四個城市天津、西安、北京、青島各項指標均處於靠前的位置,其中天津的服務和環境均處於首位。

結合下圖全國小龍蝦熱力圖,似乎有些有悖於大家的認知。

Python爬蟲&可視化之舌尖上的“小龍蝦”

由此我們可以得出在小龍蝦整體熱度比較強的區域,人們對於小龍蝦各方面的要求會相應提高,相反在整體熱度偏低區域,人們評價時會相對寬容。同時我們看到海口的各項指標均處於最後一位,需要進行相應的調整。

PART3: 探索龍蝦

我們看過了各個城市的情況後,進一步看一下小龍蝦本身的一些有趣的內容,首先看一下龍蝦的口味,我們選取了各個餐廳中帶有龍蝦的推薦菜,分詞後獲得TOP20的口味

Python爬蟲&可視化之舌尖上的“小龍蝦”

十三香、蒜蓉、麻辣高居前三位,根據作者的經驗,這基本上是符合大家整體口味的選擇。TOP20中的蛋黃,白灼對於作者而言相對陌生,有品嚐過的朋友可以分享一些這些口味的體驗。

看完了口味,再看一下龍蝦的好麗友

Python爬蟲&可視化之舌尖上的“小龍蝦”

螺絲、花甲、毛豆位高居TOP3,看來大家吃龍蝦的時候,會希望同時選擇一些不用摘手套就可以享用的食物,畢竟吃的過程中頻繁摘手套會比較費勁。

PART4: 龍蝦畫像

目前互聯網公司中非常普遍地會進行一些人群畫像的分析,我們在這裡借用一下這個概念,也為小龍蝦繪製一副專屬的畫像,下面展示的兩幅圖分別是詞雲圖和模板原圖

Python爬蟲&可視化之舌尖上的“小龍蝦”

Python爬蟲&可視化之舌尖上的“小龍蝦”

部分詞雲繪製代碼如下:

  1. # 解析小龍蝦圖片
  2. back_color
  3. =
  4. imread
  5. (
  6. '小龍蝦.jpg'
  7. )
  8. # 解析該圖片
  9. # 參數配置
  10. wc
  11. =
  12. WordCloud
  13. (
  14. background_color
  15. =
  16. 'white'
  17. ,
  18. # 背景顏色
  19. max_words
  20. =
  21. 300
  22. ,
  23. # 最大詞數
  24. mask
  25. =
  26. back_color
  27. ,
  28. # 以該參數值作圖繪製詞雲,這個參數不為空時,width和height會被忽略
  29. max_font_size
  30. =
  31. 100
  32. ,
  33. # 顯示字體的最大值
  34. font_path
  35. =
  36. "C:/Windows/Fonts/simhei.ttf"
  37. ,
  38. # 解決顯示口字型亂碼問題,可進入C:/Windows/Fonts/目錄更換字體
  39. random_state
  40. =
  41. 4
  42. ,
  43. # 為每個詞返回一個PIL顏色
  44. #width=2000, # 圖片的寬
  45. #height=1860 #圖片的長
  46. )
  47. # 通過encounter計數器生成詞雲
  48. wc
  49. .
  50. generate_from_frequencies
  51. (
  52. word_counts
  53. )
  54. # 基於彩色圖像生成相應彩色
  55. image_colors
  56. =
  57. ImageColorGenerator
  58. (
  59. back_color
  60. )
  61. # 繪製詞雲
  62. plt
  63. .
  64. figure
  65. ()
  66. plt
  67. .
  68. imshow
  69. (
  70. wc
  71. .
  72. recolor
  73. (
  74. color_func
  75. =
  76. image_colors
  77. ))
  78. plt
  79. .
  80. axis
  81. (
  82. 'off'
  83. )

PART5: 特(hei)色(an)龍蝦

文章最後我們放上幾個之前分詞發現的特色口味龍蝦,或許下一個網紅龍蝦就在其中

Python爬蟲&可視化之舌尖上的“小龍蝦”

Python爬蟲&可視化之舌尖上的“小龍蝦”

Python爬蟲&可視化之舌尖上的“小龍蝦”

---------------------------------

想從事AI行業,想快速通過學習AI取得高薪?


其實並不複雜,


只需關注小碼聰聰,回覆AI


即可領取你的專屬秘籍


Python爬蟲&可視化之舌尖上的“小龍蝦”


分享到:


相關文章: