本文為你展示,如何用Python把許多PDF文件的文本內容批量提取出來,並且整理存儲到數據框中,以便於後續的數據分析。
問題
最近,讀者們在後臺的留言,愈發五花八門了。
寫了幾篇關於自然語言處理的文章後,一種呼聲漸強:
老師,pdf中的文本內容,有沒有什麼方便的方法提取出來呢?
我能體會到讀者的心情。
我展示的例子中,文本數據都是直接可以讀入數據框工具做處理的。它們可能來自開放數據集合、網站API,或者爬蟲。
但是,有的時候,你會遇到需要處理指定格式數據的問題。
例如pdf。
許多的學術論文、研究報告,甚至是資料分享,都採用這種格式發佈。
這時候,已經掌握了諸多自然語言分析工具的你,會頗有“拔劍四顧心茫然”的感覺——明明知道如何處理其中的文本信息,但就是隔著一個格式轉換的問題,做不來。
怎麼辦?
辦法自然是有的,例如專用工具、在線轉換服務網站,甚至還可以手動複製粘貼嘛。
但是,咱們是看重效率的,對不對?
上述辦法,有的需要在網上傳輸大量內容,花費時間較多,而且可能帶來安全和隱私問題;有的需要專門花錢購買;有的乾脆就不現實。
怎麼辦?
好消息是,Python就可以幫助你高效、快速地批量提取pdf文本內容,而且和數據整理分析工具無縫銜接,為你後續的分析處理做好基礎服務工作。
本文給你詳細展示這一過程。
想不想試試?
數據
為了更好地說明流程,我為你準備好了一個壓縮包。
裡面包括本教程的代碼,以及我們要用到的數據。
請你到 這個網址 下載本教程配套的壓縮包。
下載後解壓,你會在生成的目錄(下稱“演示目錄”)裡面看到以下內容
演示目錄裡面包含:
- Pipfile: pipenv 配置文件,用來準備咱們變成需要用到的依賴包。後文會講解使用方法;
- pdf_extractor.py: 利用pdfminer.six編寫的輔助函數。有了它你就可以直接調用pdfminer提供的pdf文本內容抽取功能,而不必考慮一大堆惱人的參數;
- demo.ipynb: 已經為你寫好的本教程 Python 源代碼 (Jupyter Notebook格式)。
另外,演示目錄中還包括了2個文件夾。
這兩個文件夾裡面,都是中文pdf文件,用來給你展示pdf內容抽取。它們都是我幾年前發表的中文核心期刊論文。
這裡做2點說明:
- 使用我自己的論文做示例,是因為我怕用別人的論文做文本抽取,會與論文作者及數據庫運營商之間有知識產權的糾紛;
- 分成2個文件夾,是為了向你展示添加新的pdf文件時,抽取工具會如何處理。
pdf文件夾內容如下:
newpdf文件夾內容如下:
數據準備好了,下面我們來部署代碼運行環境。
環境
要安裝Python,比較省事的辦法是裝Anaconda套裝。
請到 這個網址 下載Anaconda的最新版本。
請選擇左側的 Python 3.6 版本下載安裝。
如果你需要具體的步驟指導,或者想知道Windows平臺如何安裝並運行Anaconda命令,請參考我為你準備的 視頻教程 。
安裝好Anaconda之後,打開終端,用cd命令進入演示目錄。
如果你不瞭解具體使用方法,也可以參考 視頻教程 。
我們需要安裝一些環境依賴包。
首先執行:
pip install pipenv
這裡安裝的,是一個優秀的 Python 軟件包管理工具 pipenv 。
安裝後,請執行:
pipenv install --skip-lock
pipenv 工具會依照Pipfile,自動為我們安裝所需要的全部依賴軟件包。
終端裡面會有進度條,提示所需安裝軟件數量和實際進度。
裝好後,根據提示我們執行:
pipenv shell
這樣,我們就進入本教程專屬的虛擬運行環境了。
注意一定要執行下面這句:
python -m ipykernel install --user --name=py36
只有這樣,當前的Python環境才會作為核心(kernel)在系統中註冊,並且命名為py36。
此處請確認你的電腦上已經安裝了 Google Chrome 瀏覽器。
我們執行:
jupyter notebook
默認瀏覽器(Google Chrome)會開啟,並啟動 Jupyter 筆記本界面:
你可以直接點擊文件列表中的第一項ipynb文件,可以看到本教程的全部示例代碼。
你可以一邊看教程的講解,一邊依次執行這些代碼。
但是,我建議的方法,是回到主界面下,新建一個新的空白 Python 3 筆記本(顯示名稱為 py36 的那個)。
請跟著教程,一個個字符輸入相應的內容。這可以幫助你更為深刻地理解代碼的含義,更高效地把技能內化。
當你在編寫代碼中遇到困難的時候,可以返回參照 demo.ipynb 文件。
準備工作結束,下面我們開始正式輸入代碼。
代碼
首先,我們讀入一些模塊,以進行文件操作。
import glob
import os
前文提到過,演示目錄下,有兩個文件夾,分別是pdf和newpdf。
我們指定 pdf 文件所在路徑為其中的pdf文件夾。
pdf_path = "pdf/"
我們希望獲得所有 pdf 文件的路徑。用glob,一條命令就能完成這個功能。
pdfs = glob.glob("{}/*.pdf".format(pdf_path))
看看我們獲得的 pdf 文件路徑是否正確。
pdfs
['pdf/複雜系統仿真的微博客虛假信息擴散模型研究.pdf',
'pdf/面向影子分析的社交媒體競爭情報蒐集.pdf',
'pdf/面向人機協同的移動互聯網政務門戶探析.pdf']
經驗證。準確無誤。
下面我們利用 pdfminer 來從 pdf 文件中抽取內容。我們需要從輔助 Python 文件 pdf_extractor.py 中讀入函數 extract_pdf_content。
from pdf_extractor import extract_pdf_content
用這個函數,我們嘗試從 pdf 文件列表中的第一篇裡,抽取內容,並且把文本保存在 content 變量裡。
content = extract_pdf_content(pdfs[0])
我們看看 content 裡都有什麼:
content
顯然,內容抽取並不完美,頁眉頁腳等信息都混了進來。
不過,對於我們的許多文本分析用途來說,這無關緊要。
你會看到 content 的內容裡面有許多的 \n,這是什麼呢?
我們用 print 函數,來顯示 content 的內容。
print(content)
可以清楚看到,那些 \n 是換行符。
通過一個 pdf 文件的抽取測試,我們建立了信心。
下面,我們該建立辭典,批量抽取和存儲內容了。
mydict = {}
我們遍歷 pdfs 列表,把文件名稱(不包含目錄)作為鍵值。這樣,我們可以很容易看到,哪些pdf文件已經被抽取過了,哪些還沒有抽取。
為了讓這個過程更為清晰,我們讓Python輸出正在抽取的 pdf 文件名。
for pdf in pdfs:
key = pdf.split('/')[-1]
if not key in mydict:
print("Extracting content from {} ...".format(pdf))
mydict[key] = extract_pdf_content(pdf)
抽取過程中,你會看到這些輸出信息:
Extracting content from pdf/複雜系統仿真的微博客虛假信息擴散模型研究.pdf ...
Extracting content from pdf/面向影子分析的社交媒體競爭情報蒐集.pdf ...
Extracting content from pdf/面向人機協同的移動互聯網政務門戶探析.pdf ...
看看此時字典中的鍵值都有哪些:
mydict.keys()
dict_keys(['複雜系統仿真的微博客虛假信息擴散模型研究.pdf', '面向影子分析的社交媒體競爭情報蒐集.pdf', '面向人機協同的移動互聯網政務門戶探析.pdf'])
一切正常。
下面我們調用pandas,把字典變成數據框,以利於分析。
import pandas as pd
下面這條語句,就可以把字典轉換成數據框了。注意後面的reset_index()把原先字典鍵值生成的索引也轉換成了普通的列。
df = pd.DataFrame.from_dict(mydict, orient='index').reset_index()
然後我們重新命名列,以便於後續使用。
df.columns = ["path", "content"]
此時的數據框內容如下:
df
可以看到,我們的數據框擁有了pdf文件信息和全部文本內容。這樣你就可以使用關鍵詞抽取、情感分析、相似度計算等等諸多分析工具了。
篇幅所限,我們這裡只用一個字符數量統計的例子來展示基本分析功能。
我們讓 Python 幫我們統計抽取內容的長度。
df["length"] = df.content.apply(lambda x: len(x))
此時的數據框內容發生以下變化:
df
多出的一列,就是 pdf 文本內容的字符數量。
為了在 Jupyter Notebook 裡面正確展示繪圖結果,我們需要使用以下語句:
%matplotlib inline
下面,我們讓 Pandas 把字符長度一列的信息用柱狀圖標示出來。為了顯示的美觀,我們設置了圖片的長寬比例,並且把對應的pdf文件名稱以傾斜45度來展示。
import matplotlib.pyplot as plt
plt.figure(figsize=(14, 6))
df.set_index('path').length.plot(kind='bar')
plt.xticks(rotation=45)
可視化分析完成。
下面我們把剛才的分析流程整理成函數,以便於將來更方便地調用。
我們先整合pdf內容提取到字典的模塊:
def get_mydict_from_pdf_path(mydict, pdf_path):
pdfs = glob.glob("{}/*.pdf".format(pdf_path))
for pdf in pdfs:
key = pdf.split('/')[-1]
if not key in mydict:
print("Extracting content from {} ...".format(pdf))
mydict[key] = extract_pdf_content(pdf)
return mydict
這裡輸入是已有詞典和pdf文件夾路徑。輸出為新的詞典。
你可能會納悶為何還要輸入“已有詞典”。彆著急,一會兒我用實際例子展示給你看。
下面這個函數非常直白——就是把詞典轉換成數據框。
def make_df_from_mydict(mydict):
df = pd.DataFrame.from_dict(mydict, orient='index').reset_index()
df.columns = ["path", "content"]
return df
最後一個函數,用於繪製統計出來的字符數量。
def draw_df(df):
df["length"] = df.content.apply(lambda x: len(x))
plt.figure(figsize=(14, 6))
df.set_index('path').length.plot(kind='bar')
plt.xticks(rotation=45)
函數已經編好,下面我們來嘗試一下。
還記得演示目錄下有個子目錄,叫做newpdf對吧?
我們把其中的2個pdf文件,移動到pdf目錄下面。
這樣pdf目錄下面,就有了5個文件:
我們執行新整理出的3個函數。
首先輸入已有的詞典(注意此時裡面已有3條記錄),pdf文件夾路徑沒變化。輸出是新的詞典。
mydict = get_mydict_from_pdf_path(mydict, pdf_path)
Extracting content from pdf/微博客 Twitter 的企業競爭情報蒐集.pdf ...
Extracting content from pdf/移動社交媒體用戶隱私保護對策研究.pdf ...
注意這裡的提示,原先的3個pdf文件沒有被再次抽取,只有2個新pdf文件被抽取。
咱們這裡一共只有5個文件,所以你直觀上可能無法感受出顯著的區別。
但是,假設你原先已經用幾個小時,抽取了成百上千個pdf文件信息,結果你的老闆又丟給你3個新的pdf文件……
如果你必須從頭抽取信息,恐怕會很崩潰吧。
這時候,使用咱們的函數,你可以在1分鐘之內把新的文件內容追加進去。
這差別,不小吧?
下面我們用新的詞典,構建數據框。
df = make_df_from_mydict(mydict)
我們繪製新的數據框裡,pdf抽取文本字符數量。結果如下:
draw_df(df)
至此,代碼展示完畢。
小結
總結一下,本文為你介紹了以下知識點:
- 如何用glob批量讀取目錄下指定格式的文件路徑;
- 如何用pdfminer從pdf文件中抽取文本信息;
- 如何構建詞典,存儲與鍵值(本文中為文件名)對應的內容,並且避免重複處理數據;
- 如何將詞典數據結構輕鬆轉換為Pandas數據框,以便於後續數據分析。
- 如何用matplotlib和pandas自帶的繪圖函數輕鬆繪製柱狀統計圖形。
討論
你之前做的數據分析工作中,遇到過需要從pdf文件抽取文本的任務嗎?你是如何處理的?有沒有更好的工具與方法?歡迎留言,把你的經驗和思考分享給大家,我們一起交流,加QQ群813622576 群內有免費資料大家學習哦 1
閱讀更多 sxyyw 的文章