用Python爬取整個學院MM的電話和QQ,爬蟲這也太牛了!

安裝庫文件:

pip install *** ***是指上面的庫文件,下面不必定都用,只需上面的,往後出什麼錯,你就繼續pip install 

用Python爬取整個學院MM的電話和QQ,爬蟲這也太牛了!

不雅觀不雅觀察網站構造(密碼軌則):

用Python爬取整個學院MM的電話和QQ,爬蟲這也太牛了!

  • 首先這個軌則是針對大二和已經畢業了的

  • 密碼軌則沒有添加驗證碼(其實添加驗證碼也沒什麼用,只是添加了爬取門檻)

  • 軌則是 用戶名==密碼

    適宜前提

用Python爬取整個學院MM的電話和QQ,爬蟲這也太牛了!

  • 這裡的用戶信息

  • 不要在意這些細節(馬賽克) 朦朧美不息是我的尋求

詳細思緒:模仿上岸 ==》建造學號軌則==》信息查詢(爬取)==》存入xls模仿上岸:由於我們是用爬蟲守信息,每次訪謁,
  1. 必定是上岸了往後才可以訪謁我們的信息 ==》模仿上岸

  2. 當我們用劇本訪謁下一個頁面,必要一個cookie信息,就比如,當你翻開

    qq空間,其實是想騰訊那兒那裡提交了本身的信息,而我們的信息就存在cookie中

  • python 中cookie維持會話訪謁:

用Python爬取整個學院MM的電話和QQ,爬蟲這也太牛了!

  • 模仿上岸

詳細網址不分享,按捺帶來不必要的費事

用Python爬取整個學院MM的電話和QQ,爬蟲這也太牛了!

  • 學號的列表

用Python爬取整個學院MM的電話和QQ,爬蟲這也太牛了!

  • 用戶信息的獲取

用Python爬取整個學院MM的電話和QQ,爬蟲這也太牛了!

這裡用的的是beautifulsoup庫

用Python爬取整個學院MM的電話和QQ,爬蟲這也太牛了!

  • 寫入xls(這個是思緒)測試用的函數

  • Python語言基礎:掌握Python腳本、Python界面編程能力、掌握數據庫、掌握基本爬蟲、掌握多線程多進程開發能力,能勝任基本的Python開發工作。

Python爬蟲:掌握Python爬蟲技術、掌握多線程爬蟲技術、掌握分佈式爬蟲技術,能勝任爬蟲工作

由於在寫的時辰由於編碼問題,不能寫入中文

用Python爬取整個學院MM的電話和QQ,爬蟲這也太牛了!

  • 起頭步履:

  • 添加上耽誤訪謁: time.sleep(1)

  1. 由於爬蟲訪謁的不和人一樣,訪謁會很快,

  2. 如答應以按捺被封ip 還有按捺給站點帶來不好的影響

用Python爬取整個學院MM的電話和QQ,爬蟲這也太牛了!

Python web開發:掌握前端知識、掌握Python三大後端框架、獨立開發網站,能勝任web全棧開發工作。

局部截圖:

學號軌則很好找的,如許就獲取半個的call和qq啦,至於能幹嘛

用Python爬取整個學院MM的電話和QQ,爬蟲這也太牛了!

下面分享一個正則小知識點。正則表達式是一個很強大的字符串處理工具,幾乎任何關於字符串的操作都可以使用正則表達式來完成,作為一個爬蟲工作者,每天和字符串打交道,正則表達式更是不可或缺的技能,正則表達式的在不同的語言中使用方式可能不一樣,不過只要學會了任意一門語言的正則表達式用法,其他語言中大部分也只是換了個函數的名稱而已,本質都是一樣的。下面,我來介紹一下python中的正則表達式是怎麼使用的。

首先,python中的正則表達式大致分為以下幾部分:

    1. 元字符

    2. 模式

    3. 函數

    4. re 內置對象用法

    5. 分組用法

    6. 環視用法

所有關於正則表達式的操作都使用 python 標準庫中的 re 模塊。

一、元字符 (參見 python 模塊 re 文檔)

    • . 匹配任意字符(不包括換行符)

    • ^ 匹配開始位置,多行模式下匹配每一行的開始

    • $ 匹配結束位置,多行模式下匹配每一行的結束

    • * 匹配前一個元字符0到多次

    • + 匹配前一個元字符1到多次

    • ? 匹配前一個元字符0到1次

    • {m,n} 匹配前一個元字符m到n次

    • \\ 轉義字符,跟在其後的字符將失去作為特殊元字符的含義,例如\\.只能匹配.,不能再匹配任意字符

    • [] 字符集,一個字符的集合,可匹配其中任意一個字符

    • | 邏輯表達式 或 ,比如 a|b 代表可匹配 a 或者 b

    • (...) 分組,默認為捕獲,即被分組的內容可以被單獨取出,默認每個分組有個索引,從 1 開始,按照"("的順序決定索引值

    • (?iLmsux) 分組中可以設置模式,iLmsux之中的每個字符代表一個模式,用法參見 模式 I

    • (?:...) 分組的不捕獲模式,計算索引時會跳過這個分組

    • (?P...) 分組的命名模式,取此分組中的內容時可以使用索引也可以使用name

    • (?P=name) 分組的引用模式,可在同一個正則表達式用引用前面命名過的正則

    • (?#...) 註釋,不影響正則表達式其它部分,用法參見 模式 I

    • (?=...) 順序肯定環視,表示所在位置右側能夠匹配括號內正則

    • (?!...) 順序否定環視,表示所在位置右側不能匹配括號內正則

    • (?<=...) 逆序肯定環視,表示所在位置左側能夠匹配括號內正則

    • (?

    • (?(id/name)yes|no) 若前面指定id或name的分區匹配成功則執行yes處的正則,否則執行no處的正則

    • \number 匹配和前面索引為number的分組捕獲到的內容一樣的字符串

    • \A 匹配字符串開始位置,忽略多行模式

    • \Z 匹配字符串結束位置,忽略多行模式

    • \b 匹配位於單詞開始或結束位置的空字符串

    • \B 匹配不位於單詞開始或結束位置的空字符串

    • \d 匹配一個數字, 相當於 [0-9]

    • \D 匹配非數字,相當於 [^0-9]

    • \s 匹配任意空白字符, 相當於 [ \t\n\r\f\v]

    • \S 匹配非空白字符,相當於 [^ \t\n\r\f\v]

    • \w 匹配數字、字母、下劃線中任意一個字符, 相當於 [a-zA-Z0-9_]

    • \W 匹配非數字、字母、下劃線中的任意字符,相當於 [^a-zA-Z0-9_]

好了,今天的知識就分享到這裡,歡迎關注愛編程的南風,私信關鍵詞:學習資料,獲取更多學習資源,如果文章對你有有幫助,請收藏關注,在今後與你分享更多學習python的文章。同時歡迎在下面評論區留言如何學習python。


分享到:


相關文章: