昨天試寫了一篇頭條文章，到現在已經被推薦了2W以上，閱讀接近2K，收藏300，評論10+，轉發30+，同時也取得了很多朋友的關注，感謝大家，也感謝頭條。這些給了我很大的鼓勵和信心繼續寫下去，堅持原創，繼續給大家分享高質量的原創內容。今天給大家分享的是輕鬆去除重複數據（只保留惟一不重複的數據），美化了源代碼，優化了格式，並增加代碼輸出效果，方便大家理解，希望大家能夠喜歡。
說起數據去重，工作中太常用了，一般情況下如果數據量少的話，直接在EXCEL中就可以處理（菜單-數據-數據工具-刪除重複項），但這也僅僅能處理一列數據，如果有多列數據則很難做到。
excel 去除重複數據
但是去除重複數據有很多情況：多列、包含特殊字符、數據量超大（百萬、千萬級別），一個能搞定所有情況，性能穩定、方便使用並且免費的腳本才是我們需要的，下面的代碼就是我在工作中經常使用的，經得起考驗的去除重複數據的利器。主要思路是讀取文件內容-寫入列表-通過set()函數去除重複數據，保留惟一數據-輸出結果。
python 數據去重 代碼
這段代碼有點小調皮，加入了一些人機交互和判斷，下面是實際使用效果（windows cmd)：
python 數據去重 windows
當然，在實際使用中完全可以去除這些交互，直接了當的使用，僅僅需要簡單的修改幾行代碼就可以，你可以做到嗎？
需要源代碼的可以留言或私信。
分享到:
閱讀更多 aovs 的文章
