總結Python網絡爬蟲四大選擇器(正則表達式、BS4、Xpath、CSS)

今天來給大家總結一下這四個選擇器,讓大家更加深刻的理解和熟悉Python選擇器。

總結Python網絡爬蟲四大選擇器(正則表達式、BS4、Xpath、CSS)

一、正則表達式

正則表達式為我們提供了抓取數據的快捷方式。

雖然該正則表達式更容易適應未來變化,但又存在難以構造、可讀性差的問題。當

在爬京東網的時候,正則表達式如下圖所示:

總結Python網絡爬蟲四大選擇器(正則表達式、BS4、Xpath、CSS)

利用正則表達式實現對目標信息的精準採集

此外 ,我們都知道,網頁時常會產生變更,導致網頁中會發生一些微小的佈局變化時,此時也會使得之前寫好的正則表達式無法滿足需求,而且還不太好調試。

當需要匹配的內容有很多的時候,使用正則表達式提取目標信息會導致程序運行的速度減慢,需要消耗更多內存。

二、BeautifulSoup

BeautifulSoup是一個非常流行的 Pyhon 模塊。

該模塊可以解析網頁,並提供定位內容的便捷接口。

通過'pip install beautifulsoup4'就可以實現該模塊的安裝了。

總結Python網絡爬蟲四大選擇器(正則表達式、BS4、Xpath、CSS)

利用美麗的湯去提取目標信息:

使用 BeautifulSoup的第一步是將己下載的 HTML 內容解析為 soup文檔。

由 於大多 數網 頁都不具備良好的HTML 格式,因此BeautifulSoup需要對實際格式進行確定。

BeautifulSoup能夠正確解析缺失的引號並閉合標籤,此外還會添加<html >和<body>標籤使其成為完整的HTML文檔。

通常使用find() 和find_all()方法來定位我們需要的元素。

如果你想了解BeautifulSoup全部方法和參數,可以查閱BeautifulSoup的官方文檔。

雖然BeautifulSoup在代碼的理解上比正則表達式要複雜一些,但是其更加容易構造和理解。

三、Lxml

Lxml模塊使用 C語言編寫,其解析速度比 BeautiflSoup更快,而且其安裝過程也更為複雜,在此小編就不贅述啦。

XPath 使用路徑表達式在 XML 文檔中選取節點。

節點是通過沿著路徑或者 step 來選取的。

總結Python網絡爬蟲四大選擇器(正則表達式、BS4、Xpath、CSS)

Xpath

使用 lxml 模塊的第一步和BeautifulSoup一樣,也是將有可能不合法的HTML 解析為 統一格式。

雖然Lxml可以正確解析屬性兩側缺失的引號,並閉合標籤,不過該模塊沒有額外添加<html >和<body>標籤 。

在線複製Xpath表達式可以很方便的複製Xpath表達式。

但是通過該方法得到的Xpath表達式放在程序中一般不能用,而且長的沒法看。

所以Xpath表達式一般還是要自己親自上手。

四、CSS

CSS選擇器表示選擇元素所使用 的模式。

BeautifulSoup整合了CSS選擇器的語法和自身方便使用API。

在網絡爬蟲的開發過程中,對於熟悉CSS選擇器語法的人,使用CSS選擇器是個非常方便的方法。

總結Python網絡爬蟲四大選擇器(正則表達式、BS4、Xpath、CSS)

CSS選擇器

下面是一些常用的選擇器示例。

選擇所 有標籤: *

選擇<a>標 籤: a

選擇所有class=”link” 的元素: .l in k

選擇 class=”link” 的<a>標籤: a.link

選擇 id= " home ” 的<a>標籤: a Jhome

選擇父元素為<a>標籤的所有< span>子標籤: a > span

選擇<a>標籤內部的所有<span>標籤: a span

選擇title屬性為” Home ” 的所有<a>標籤: a [title=Home]

五、性能對比

lxml 和正則表達式模塊都是C語言編寫的,而BeautifulSoup則是純Python 編寫的。下表總結了每種抓取方法的優缺點。

總結Python網絡爬蟲四大選擇器(正則表達式、BS4、Xpath、CSS)

需要注意的是。

lxml在內部實現中,實際上是將CSS選擇器轉換為等價的Xpath選擇器。

六、總結

如果你的爬蟲瓶頸是下載網頁,而不是抽取數據的話,那麼使用較慢的方法

(如BeautifulSoup) 也不成問題。

如果只需抓取少量數據,並且想要避免額外依賴的話,那麼正則表達式可能更加適合。

不過,通常情況下,l xml是抓取數據的最好選擇,這是因為該方法既快速又健壯,而正則表達式和BeautifulSoup只在某些特定場景下有用。

最後小編幫助大家整理了一套python教程,下面展示了部分,希望也能幫助對編程感興趣,想做數據分析,人工智能、爬蟲或者希望從事編程開發的小夥伴,畢竟python工資也還可以,如果能幫到你請點贊、點贊、點贊。

總結Python網絡爬蟲四大選擇器(正則表達式、BS4、Xpath、CSS)

總結Python網絡爬蟲四大選擇器(正則表達式、BS4、Xpath、CSS)

總結Python網絡爬蟲四大選擇器(正則表達式、BS4、Xpath、CSS)

總結Python網絡爬蟲四大選擇器(正則表達式、BS4、Xpath、CSS)

總結Python網絡爬蟲四大選擇器(正則表達式、BS4、Xpath、CSS)

以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值.

如果你喜歡python,並覺得這篇文章對你有益的話,麻煩多多點贊關注支持!!!!


分享到:


相關文章: