Python數據清洗--類型轉換和冗餘數據刪除

私信我或關注猿來如此呀公眾號，回覆：數據學習，免費領取學習資源包

數據分析過程中最頭疼也是工作量最大的部分算是探索和清洗了，探索的目的是瞭解數據，瞭解數據背後隱藏的規律，清洗的目的則是為了讓乾淨的數據進入分析或建模的下一個環節。作者將通過三篇文章，詳細講解工作中常規的數據清洗方法，包括數據類型的轉換，重複數據的處理，缺失值的處理以及異常數據的識別和處理。這是第一篇文章，主要分享的內容包括，文中涉及到的數據可以至文末查看下載鏈接：

數據類型的轉換

冗餘數據的識別和處理

數據類型的判斷和轉換

如下表所示，為某公司用戶的個人信息和交易數據，涉及的字段為用戶id、性別、年齡、受教育水平、交易金額和交易日期。從表面上看，似乎沒有看出數據背後可能存在的問題，那接下來就將其讀入到Python中，並通過探索的方式發現數據中的問題。

讀取數據，以及查看數據規模、查看數據中各變量的數據類型的代碼如下：

# 導入第三方包
import pandas as pd
# 讀入外部數據
data3 = pd.read_excel(io=r'C:UsersAdministratorDesktopdatasdata3.xlsx')
# 查看數據的規模
data3.shape
out:
(3000, 6)
# 查看錶中各變量的數據類型
# data3.dtypes
out:

表中各變量的數據類型如表下表所示：

上述代碼利用shape“方法”返回了數據集的規模，即該數據包含3000行6列；通過dtypes“方法”則返回了數據集中各變量的數據類型——除id變量和age變量為數值型，其餘變量均為字符型。直觀上能夠感受到一點問題，即數據類型不對，例如用戶id應該為字符型，消費金額custom_amt為數值型，訂單日期為日期型。如果發現數據類型不對，如何藉助於Python工具實現數據類型的轉換呢？可參照如下代碼的實現。

# 數值型轉字符型
data3['id'] = data3['id'].astype(str)
# 字符型轉數值型
data3['custom_amt'] = data3['custom_amt'].str[1:].astype(float)
# 字符型轉日期型
data3['order_date'] = pd.to_datetime(data3['order_date'], format = '%Y年%m月%d日')
# 重新查看數據集的各變量類型
data3.dtypes
out:

這些數據經過處理後，各個字段的數據類型如下表所示：

如上結果所示，三個變量全都轉換成了各自所期望的數據類型。astype“方法”用於數據類型的強制轉換，可選擇的常用轉換類型包括str（表示字符型）、float（表示浮點型）和int（表示整型）。由於消費金額custom_amt變量中的值包含人民幣符號“￥”，所以在數據類型轉換之前必須將其刪除（通過字符串的切片方法刪除，

需要注意的是，Python中的函數有兩種表現形式，一種是常規理解下的函數（語法為func(parameters)，如to_datetime函數），另一種則是“方法”（語法為obj.func(parameters)，如dtypes和astype“方法”）。兩者的區別在於 “方法”是針對特定對象的函數（即該“方法”只能用在某個固定類型的對象上），而函數並沒有這方面的限制。

基於如上類型的轉換結果，最後瀏覽一下數據的展現形式：

# 預覽數據的前5行
data3.head()

冗餘數據的判斷和處理

如上過程是對數據中各變量類型的判斷和轉換，除此還需要監控表中是否存在“髒”數據，如冗餘的重複觀測和缺失值等。可以通過duplicated“方法”進行 “髒”數據的識別和處理。仍然對上邊的data3數據為例進行操作，具體代碼如下所示。

# 判斷數據中是否存在重複觀測
data3.duplicated().any()
out:
False

如上結果返回的是False，說明該數據集中並不存在重複觀測。假如讀者利用如上的代碼在數據集中發現了重複觀測，可以使用drop_duplicates“方法”將冗餘信息刪除。

需要說明的是，在使用duplicated“方法”對數據行作重複性判斷時，會返回一個與原數據行數相同的序列（如果數據行沒有重複，則對應False，否則對應True），為了得到最終的判斷結果，需要

duplicated“方法”和drop_duplicates“方法”都有一個非常重要的參數，就是subset。默認情況下不設置該參數時，表示對數據的所有列進行重複性判斷；如果需要按指定的變量做數據的重複性判斷時，就可以使用該參數指定具體的變量列表。舉例如下：

# 構造數據
df = pd.DataFrame(dict(name = ['張三','李四','王二','張三','趙五','丁一','王二'],
 gender = ['男','男','女','男','女','女','男'],
 age = [29,25,27,29,21,22,27],
 income = [15600,14000,18500,15600,10500,18000,13000],
 edu = ['本科','本科','碩士','本科','大專','本科','碩士']))
# 查看數據
df

目測有兩條數據完全一樣，就是用戶張三，如果直接使用drop_duplicates“方法”，而不做任何參數的修改時，將會刪除第二次出現的用戶張三。代碼如下：

# 默認情況下，對數據的所有變量進行判斷
df.drop_duplicates()

假設在數據清洗中，用戶的姓名和年齡相同就認為是重複數據，那麼該如何基於這兩個變量進行重複值的刪除呢？此時就需要使用subset參數了，代碼如下：

df.drop_duplicates(subset=['name','age'])

需要注意的是，使用drop_duplicates“方法”刪除重複數據，並不能直接影響到原始數據，即原始數據中還是存在重複觀測的。如需使drop_duplicates“方法”的刪除功能作用在原始數據中，必須將inplace參數設置為True。

私信我或關注猿來如此呀公眾號，回覆：數據學習，免費領取學習資源包

閱讀更多 猿來如此呀 的文章

關鍵字: 冗餘 數據類型 Python