用python分析上海二手房數據，用幾十行代碼爬取大規模數據！

一、環境搭建

1、安裝python-3.5.2-amd64和pycharm-community-2016.3.2

參考http://jingyan.baidu.com/article/a17d5285ed78e88098c8f222.html?st=2&net_type=&bd_page_type=1&os=0&rst=&word=www.10010

2、配置網頁解析相關庫

以管理員身份運行命令提示符

1）pip3 install beautifulsoup4

2）pip3 install requests

3）pip3 install lxml

二、源代碼

1、導入beautifulsoup和requests庫

# -*- coding: utf-8 -*-from bs4 import BeautifulSoupimport requests

2、寫爬蟲主函數

def spider_1(url): response = requests.get(url) soup = BeautifulSoup(response.text,'lxml') titles = soup.select('dd > p.title > a') # 標題 hrefs = soup.select('dd > p.title > a') # 鏈接 details = soup.select('dd > p.mt12') # 建築信息 courts = soup.select('dd > p:nth-of-type(3) > a') # 小區 adds = soup.select('dd > p:nth-of-type(3) > span') # 地址 areas = soup.select('dd > div.area.alignR > p:nth-of-type(1)') # 面積 prices = soup.select('dd > div.moreInfo > p:nth-of-type(1) > span.price') # 總價 danjias = soup.select('dd > div.moreInfo > p.danjia.alignR.mt5') # 單價 authors = soup.select('dd > p.gray6.mt10 > a') # 發佈者 tags = soup.select('dd > div.mt8.clearfix > div.pt4.floatl') # 標籤 for title, href, detail, court, add, area, price, danjia, author, tag in zip(titles, hrefs, details, courts, adds, areas, prices, danjias, authors, tags): data = { 'title': title.get_text(), 'href': 'http://esf.xian.fang.com' + href.get('href'), 'detail': list(detail.stripped_strings), 'court': court.get_text(), 'add': add.get_text(), 'area': area.get_text(), 'price': price.get_text(), 'danjia': danjia.get_text(), 'author': author.get_text(), 'tag': list(tag.stripped_strings) } print(data)

3、調用spider_1函數爬取指定網頁

spider_1('http://esf.xian.fang.com/')

4、循環翻頁爬取二手房信息

考慮到每頁只顯示30條，總共100頁，寫一個循環調用的語句，把100頁的內容全部爬下來

# 循環，把第2-100頁全部爬下來page = 1while page < 100: url = 'http://esf.xian.fang.com/house/i3'+str(page+1) spider_1(url) page = page + 1 

由於房天下的二手房信息是實時更新的，其默認排序是按照發布時間，因此在爬取過程中，會有重複的數據，如下圖，3000條數據中有523條重複（為避免重複可以嘗試倒序循環爬取）。

1.1 爬取目的

一個朋友在學習自考，作業是爬取數據進行數據分析，正好最近我在學習python，所以他委託我幫他完成這一工作

1.2使用模塊

requests進行網絡請求、bs4進行數據解析、xlwt進行excel表格存儲

2、網頁結構分析

2.1 首頁分析，獲取數據

網頁鏈接：http://sh.lianjia.com/ershoufang/pudongxinqu 紅色文字對應的是區名

[python] view plain copy

1. # 指定爬蟲所需的上海各個區域名稱

2. citys = ['pudongxinqu','minhang','baoshan','xuhui','putuo','yangpu','changning','songjiang',

3. 'jiading','huangpu','jinan','zhabei','hongkou','qingpu','fengxian','jinshan','chongming','shanghaizhoubian']

[python] view plain copy

1. def getHtml(city):

2. url = 'http://sh.lianjia.com/ershoufang/%s/' % city

3. headers = {

4. 'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'

5. }

6. request = requests.get(url=url,headers=headers)

7. # 獲取源碼內容比request.text好，對編碼方式優化好

8. respons = request.content

9. # 使用bs4模塊，對響應的鏈接源代碼進行html解析，後面是python內嵌的解釋器，也可以安裝使用lxml解析器

10. soup = BeautifulSoup(respons,'html.parser')

11. # 獲取類名為c-pagination的div標籤，是一個列表

12. page = soup.select('div .c-pagination')[0]

13. # 如果標籤a標籤數大於1，說明多頁，取出最後的一個頁碼，也就是總頁數

14. if len(page.select('a')) > 1:

15. alist = int(page.select('a')[-2].text)

16. else:#否則直接取出總頁數

17. alist = int(page.select('span')[0].text)

18. saveData(city,url,alist+1)

2.2 獲取每個區的總頁數

2.3 選中一頁查看頁面鏈接規律

具體鏈接地址：http://sh.lianjia.com/ershoufang/pudongxinqu/d2

請求頁面具體數據，數據結構

3.總代碼

我用的是python2.7進行爬取的，不確定在python3之後的運行有沒有問題，建議python2版本進行嘗試

[python] view plain copy

1. #_*_coding:utf-8_*_

3. # 導入開發模塊

4. import requests

5. # 用於解析html數據的框架

6. from bs4 import BeautifulSoup

7. # 用於操作excel的框架

8. import xlwt

10. # 創建一個工作

11. book = xlwt.Workbook()

12. # 向表格中增加一個sheet表，sheet1為表格名稱 允許單元格覆蓋

13. sheet = book.add_sheet('sheet1', cell_overwrite_ok=True)

15. # 指定爬蟲所需的上海各個區域名稱

16. citys = ['pudongxinqu','minhang','baoshan','xuhui','putuo','yangpu','changning','songjiang',

17. 'jiading','huangpu','jinan','zhabei','hongkou','qingpu','fengxian','jinshan','chongming','shanghaizhoubian']

20. def getHtml(city):

21. url = 'http://sh.lianjia.com/ershoufang/%s/' % city

22. headers = {

23. 'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'

24. }

25. request = requests.get(url=url,headers=headers)

26. # 獲取源碼內容比request.text好，對編碼方式優化好

27. respons = request.content

28. # 使用bs4模塊，對響應的鏈接源代碼進行html解析，後面是python內嵌的解釋器，也可以安裝使用lxml解析器

29. soup = BeautifulSoup(respons,'html.parser')

30. # 獲取類名為c-pagination的div標籤，是一個列表

31. page = soup.select('div .c-pagination')[0]

32. # 如果標籤a標籤數大於1，說明多頁，取出最後的一個頁碼，也就是總頁數

33. if len(page.select('a')) > 1:

34. alist = int(page.select('a')[-2].text)

35. else:#否則直接取出總頁數

36. alist = int(page.select('span')[0].text)

37. # 調用方法解析每頁數據

38. saveData(city,url,alist+1)

39. # for i in range(1,alist + 1):

40. # urlStr = '%sd%s' % (url,i)

43. # 調用方法解析每頁數據，並且保存到表格中

44. def saveData(city,url,page):

45. headers = {

46. 'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'

47. }

48. for i in range(1,page):

49. html = requests.get(url='%sd%s' % (url,i),headers=headers).content

50. soup = BeautifulSoup(html,'html.parser')

51. infos = soup.select('.js_fang_list')[0].select('li')

52. for info in infos:

53. # print '*'*50

54. des = info.find('a',class_="text link-hover-green js_triggerGray js_fanglist_title").text

55. dd = info.find('div',class_='info-table')

56. nameInfo = dd.find('a',class_='laisuzhou')

57. name = nameInfo.text # 每套二手房的小區名稱

59. fangL = dd.find('span').contents[-1].strip().split('|')

60. room_type = fangL[0].strip() # 每套二手房的戶型

61. size = fangL[1].strip() # 每套二手房的面積

62. if len(fangL[2].split('/')) == 2:

63. region = fangL[2].split('/')[0].strip() # 每套二手房所屬的區域

64. loucheng = fangL[2].split('/')[1].strip() # 每套二手房所在的樓層

65. else:

66. region = ''# 每套二手房所屬的區域

67. loucheng = fangL[2].strip() # 每套二手房所在的樓層

68. if len(fangL) != 4:

69. chaoxiang = '*'

70. else:

71. chaoxiang = fangL[3].strip() # 每套二手房的朝向

73. timeStr = info.find('span',class_='info-col row2-text').contents[-1].strip().lstrip('|')

74. builtdate = timeStr # 每套二手房的建築時間

76. # 每套二手房的總價

77. price = info.find('span',class_='total-price strong-num').text.strip()+u'萬'

78. # 每套二手房的平方米售價

79. jun = info.find('span',class_='info-col price-item minor').text

80. price_union = jun.strip()

81. # 一定要聲明使用全局的row變量，否則會報錯，說定義前使用了該變量

82. global row

83. # 把數據寫入表中，row:行數 第二個參數：第幾列 第三個參數：寫入的內容

84. sheet.write(row,0,des)

85. sheet.write(row,1,name)

86. sheet.write(row,2,room_type)

87. sheet.write(row,3,size)

88. sheet.write(row,4,region)

89. sheet.write(row,5,loucheng)

90. sheet.write(row,6,chaoxiang)

91. sheet.write(row,7,price)

92. sheet.write(row,8,price_union)

93. sheet.write(row,9,builtdate)

94. # 每次寫完一行，把行索引進行加一

95. row += 1

96. # with open('%s.csv' % city,'ab') as fd:

97. # allStr = ','.join([name,room_type,size,region,loucheng,chaoxiang,price,price_union,builtdate])+'\n'

98. # fd.write(allStr.encode('utf-8'))

101. # 判斷當前運行的腳本是否是該腳本，如果是則執行

102. # 如果有文件xxx繼承該文件或導入該文件，那麼運行xxx腳本的時候，這段代碼將不會執行

103. if __name__ == '__main__':

104. # getHtml('jinshan')

105. row=0

106. for i in citys:

107. getHtml(i)

108. # 最後執行完了保存表格，參數為要保存的路徑和文件名，如果不寫路徑則默然當前路徑

109. book.save('lianjia-shanghai.xls')

好了，今天的知識就分享到這裡，歡迎關注愛編程的南風，私信關鍵詞：學習資料，獲取更多學習資源，如果文章對你有有幫助，請收藏關注，在今後與你分享更多學習python的文章。同時歡迎在下面評論區留言如何學習python。

閱讀更多 愛編程的南風 的文章

關鍵字: 腳本 X OS