HTML文檔是互聯網上的主要文檔類型，但還存在如TXT、WORD、Excel、PDF、csv等多種類型的文檔。網絡爬蟲不僅需要能夠抓取HTML中的敏感信息，也需要有抓取其他類型文檔的能力。下面簡要記錄一些個人已知的基於python3的抓取方法，以備查閱。 抓取TXT文檔 在python3下，常用方法是使用urllib.request.urlopen方法直接獲取。之後利用正則表達式等方式進行敏感詞檢索。
上面的方法是已知目標網頁為txt文本時的抓取。事實上，在自動抓取網頁時，必須考慮目標網頁是否為純文本，用何種編碼等問題。 如果只是編碼問題，可以簡單使用print(textPage.read(),’utf-8’)等python字符處理方法來解決，如果抓取的是某個HTML，最好先分析，例如：
2.抓取CSV文檔 CSV文件是一種常見的數據存檔文件，與TXT文檔基本類似，但在內容組織上有一定格式，文件的首行為標題列，之後的文件中的每一行表示一個數據記錄。這就像一個二維數據表或excel表格一樣。 python3中包含一個csv解析庫，可用於讀寫csv文件，但其讀取目標一般要求是在本地，要讀取遠程網絡上的csv文件需要用urllib.request.urlopen先獲取。例如：
csv文檔的標題行（首行）需要特殊處理，csv.DictReader可以很好的解決這個問題。DictReader將讀取的行轉換為python字典對象，而不是列表。標題行的各列名即為字典的鍵名。
3.抓取PDF文檔 pdf文檔的遠程抓取與操作，可藉助比較流行的pdfminer3k庫來完成。
4.抓取WORD 老版word使用了二進制格式，後綴名為.doc，word2007後出現了與OPEN OFFICE類似的類XML格式文檔，後綴名為.docx。python對word文檔的支持不夠，似乎沒有完美解決方案。為讀取docx內容，可以使用以下方法：
（1）利用urlopen抓取遠程word docx文件；
（2）將其轉換為內存字節流；
（3）解壓縮（docx是壓縮後文件）；
（4）將解壓後文件作為xml讀取
（5）尋找xml中的標籤（正文內容）並處理
閱讀更多 嗨學python 的文章
關鍵字: OpenOffice XML Word
