文 | 木子
從P2P到現金貸“714高炮”，依賴爬蟲技術爬得的大數據，互聯網在線貸款業務蓬勃發展，但也踩上了數據來源違法、濫用的紅線。
最近數月來，數據行業迎來又一輪強監管風暴，曾經的創業風口，如今不少從業者卻直接被監管帶走調查……
一個爬蟲引發的案件
2019年的某個工作日，在一家大數據公司工作的程序員張明，接到了技術部領導的需求，要求寫一段爬蟲批量從一家互聯網公司網站的一個接口抓取數據，爬蟲開發完並測試沒有問題後，張明就將程序上傳到了公司服務器。
程序運行了一段時間，張明打算對爬蟲程序進行進一步優化，他將爬蟲的線程數調大。完善後的程序上傳到服務器，張明跟蹤了下爬蟲的進展，發現運行平穩並且速度快了很多。提交之後像往常一樣，張明就把這件事情忘了。
數天之後，張明所在的公司突然闖入一大群警察，公司全體上下200多人包括張明無差別地全部被抓。原來張明之前調大的爬蟲抓取數值，直接導致被爬取數據的互聯網公司服務器崩潰不能訪問，被爬取公司面對這種“非法入侵”的數據竊取行為，果斷決定報案處理。
在去警察局的路上，張明一直在想：這是不是搞錯了？自己只是一名技術人員，怎麼也會怎麼被抓起來……
上述是公眾號“純潔的微笑”整理的，關於簡歷大數據公司巧達科技今年3月被警方一鍋端的一段故事，而隨著公安部門今年以來對爬蟲公司打擊力度的加強，大數據行業也迎來了規模空前的整治風暴。
巧達數據公司被查，圖片來自於網絡
自2019年9月以來，多家涉及大數據風控業務和爬蟲技術應用的知名大數據公司相關人員被抓或被調查，包括魔蠍科技、新顏科技高管相繼被警方帶走，公信寶運營公司被杭州警方查封，貸款超市頭部機構“信用管家”辦公室被警方清查。此外，還有多家大數據風控公司人士“協助調查”，包括同盾科技、百融雲創等多家機構。與此同時，白騎士、天機數據、立木徵信、聚信立等紛紛宣佈暫停爬蟲業務。
“2019年捕獲獨角獸最多的機構：紅杉、阿里、騰訊、警方。”這是流傳在大數據行業微信群的一個段子，或可形容目前公安部門打擊爬蟲公司違規爬取網絡個人信息的力度。
隨著大數據公司人員被抓捕、被調查的消息不斷傳出，行業也掀起了一波離職潮。據瞭解，一些大數據公司的爬蟲團隊被解散、裁員，大量人員主動離職，其中技術人員佔一多半。
“要麼死掉；如果能躲過這一波強監管、沒有出大事，也得被迫轉向其他業務。”一位大數據風控公司高管曾向媒體表示。
“今年這麼難，這個行業目前的現狀，我也是沒想到的。”曾經在一家頭部大數據公司就職的李成健對消金社感慨道。
黃金時代
時間倒回到2013年9月，彼時蔣韜還是阿里巴巴集團安全部的技術總監，是阿里風險控制和反欺詐基礎平臺和眾多基礎產品創立者。但是，是繼續服務阿里還是離職創業，這個問題他反覆斟酌。
一個月之後，蔣韜做出了決定，隨後同盾科技成立，並拉上了一幫阿里的前同事加入團隊。頭頂阿里系離職員工創業光環，公司開業不到一個月，便獲得了千萬級的融資。當年，餘額寶的發佈引發了互聯網金融熱潮，同盾剛成立便站上了風口。
數據顯示，從2013年到2015年，中國市場上P2P網貸平臺數量就從800家增長至2595家，累計交易規模超過1.4萬億。
最初，P2P平臺的主流風控模式為擔保型風控，包括設立風險保證金、第三方提供擔保、實物抵押、平臺代償等方式，但這些方式缺點明顯：一方面效率低，需要很高的人力物力成本，另一方面這種風控方式也不符合監管後來對網貸平臺“借貸信息中介”的定位。
“在互聯網金融行業興起時，互金平臺缺少數據源，因此十分需要第三方數據公司的幫助來構建基於大數據應用的線上風控體系，而那幾年也堪稱數據行業的‘黃金時代’” ，作為大數據行業興起的親歷者，李成建對消金社介紹道。
在P2P監管政策出臺後，行業增速有所放緩，但現金貸平臺洶湧，到2016年，國內現金貸平臺數量飛速增長到數千家，放貸規模達萬億量級。
在我國徵信體系並不完善的背景下，P2P和現金貸平臺，包括銀行、消費金融公司等持牌金融機構，從獲客到風控，再到催收都需要數據的支持和輔助，而頻繁的數據調取、使用，龐大的市場需求也讓同盾科技這樣的大數據公司賺得盆滿缽滿。
新流財經曾披露的一份文件顯示，同盾科技在2016年的付費調用量已經達到4.99億次，這一數據在2017年攀升至18.08億次，到2018年進一步增長至驚人的22.87億次。與此同時，單次調用的價格也水漲船高，從2016年的0.09元/次增長至2018年的0.21元/次。
墮落之路
據瞭解，大數據公司的一般數據的來源主要有兩個：一類是通過合規渠道獲取，如對接政府部門、徵信公司拿到數據，或得到用戶授權進行數據查詢。
據瞭解，2017年，當時市場上一些知名第三方數據公司，其爬蟲接口已經做到了可授權爬取上千家網站，覆蓋了幾乎所有的電商平臺、90%以上的公積金網站、主流保險網站、社保網站，同時涵蓋央行徵信、運營商數據、學歷學籍、信用卡賬單、電商數據等多種信息，儼然成為了互聯網貸款市場中隱形的“徵信中心”和“信息共享中心”，而這也極大降低了線上放貸的門檻。
數據源的另一類，則是從非法渠道接入，包括爬取、買入、交換、撞庫等，這是一條低成本獲取數據的捷徑，當然這種方式也更沒有底線。
2016年5月曾曝出一家新興科技公司“通付盾”起訴同盾通過不正當手段剽竊通付盾“設備指紋”技術。此外，據媒體報道，知名大數據公司摩羯科技曾開發出一種“同業爬蟲”產品，可以直接將其他現金貸平臺的放款額和風控數據爬出來，相當於野蠻竊取了別家的風控成果。
“不管是網站還是APP，只要有賬號密碼就可以爬，連央行的徵信報告都能爬”，某數據負責人在接受媒體採訪時聲稱，“技術好，就沒有爬不到的數據”。
看到做大數據爬蟲業務賺錢，越來越多人和公司開始湧入，而這個技術本來就門檻不高，一時間渠道商、代理商也層出不窮，大家為搶奪客戶，開始打價格戰。
“這其實不是一個很暴利的行業。”李成健對消金社表示。
激烈的市場競爭，也導致一部分大數據公司開始“獨闢蹊徑”。
現金貸早期，客戶資質都比較好，後期騙貸和欺詐的都來了，只靠簡單的爬蟲技術，很難擋住他們。後來，有數據公司不僅爬取用戶通話記錄、芝麻信用、社保、黑名單等常見的信息維度，甚至連個人支付寶和微信的一些隱私信息也一併爬取。而部分大數據公司則更瘋狂，直接將非法獲取的數據進行交易和售賣。
近日被調查的考拉徵信，被曝光其非法緩存倒賣了上億公民的個人信息，公司從上游公司獲取接口後，又將查詢接口出售，供下游公司查詢牟利。
不僅如此，部分大數據上下游的公司在通過販賣信息獲利的同時，還經營現金貸平臺，利用手上掌握的個人信息進行貸款推銷、軟暴力催收等。
據財新報道，這輪針對大數據風控公司的強監管主要是由於公安機關在打擊“套路貸”時，發現爬蟲為套路貸爬取通訊錄、地址定位等個人敏感信息，引發命案及相關刑事調查。有接近公安部的人士認為，在此類案件中，“套路貸是主犯，而爬蟲公司是從犯”。
在大數據整治風暴下，有不少金融平臺表示，它們合作的數據接口，大部分都被切斷，尤其是各種數據來源不合規的爬蟲產品。“目前銀行已有明確要求，不允許使用來源不明的第三方公司產品，數據源頭必須合規合法。”某大數據公司業務負責人樊彬告訴消金社。
草莽時代落幕
“我從來沒借過高利貸，借的都是超利貸。”擼貸老哥袁夢調侃道，他有著數十家現金貸平臺的“成功”擼貸經驗，基本上是一下款就卸載APP，再換一個手機號。袁夢告訴消金社，那種利息越高的他越願意借，因為這種平臺本身就不合規，而且反正也不上徵信。
“現在情況變了，不太好擼了。”袁夢表示，一方面平臺數量少了，許多現金貸平臺經過這一輪的行業清洗消失了。另一方面，平臺的風控普遍變得更加嚴厲了。“之前不少借了不用還的，就憑身份證號和手機號，再填寫兩個緊急聯繫人能立刻下款，現在不僅要身份證照片，而且有的平臺還要進行刷臉認證，尤其最近一段時間，下款更是不容易。”袁夢表示。
知名網貸系統供應商帝友公司的一位客戶經理告訴消金社，現在找他們購買系統，不再是給錢就發貨，而需要買家提供互聯網小貸牌照等合規資質。
“現在這種嚴打的環境下，那些714高炮如果還敢頂風作案，等著它們的就是被判定為‘套路貸’，然後被抓被判。”李成健對消金社表示。
一位業內人士表示，受爬蟲風波影響，部分第三方數據公司的數據“斷供”，目前有不少現金貸平臺的業務開始收縮，有的只能針對之前還款記錄良好的老客戶放款，不再新增。而且部分銀行也暫時停止了線上放貸業務。
作為一家年營業額約一億元的大數據公司，在此輪的行業整治過程中，樊彬他們公司以及客戶受到的影響不大，因為他們的主要客戶群一直是銀行等持牌金融機構，而且在數據的獲取方式上，他們不採用非法的爬蟲技術手段，而是通過接入與工商局、稅務局等能提供數據源的合作平臺來取得。
“明顯的變化是，之前那些十分在意價格的客戶，現在對數據的合規性更看重了。”據樊彬介紹，“感覺客戶越來越願意從數據源頭拿東西，不願跟渠道商、代理商合作，因為這樣能清晰地知道對接的數據是否合法合規，而這正好也是我們這類正規數據公司的機會。”
從相關政策來看，大數據行業的“緊箍咒”也越來越嚴。
2017年6月1日，《中華人民共和國網絡安全法》開始施行，其特別加強和明確了個人信息保護方面的要求。《網絡安全法》中明確規定，網絡產品、服務具有收集用戶信息功能的，其提供者應當向用戶明示並取得同意。未經被收集者同意，不得向他人提供個人信息。
今年年中，國家互聯網信息辦公室發佈《數據安全管理辦法（徵求意見稿）》，文件系統地規定了網絡運營者數據收集、數據處理使用等合規要求，以及強制捆綁授權、網絡爬蟲等新型數據安全問題。
消金社在一個爬蟲技術交流群發現，雖政策愈加嚴厲，但目前仍有不少人企圖通過違規爬取借貸平臺數據獲利，一位正在招聘爬蟲技術人員的群友表示：“爬蟲技術過硬的，而且有反爬經驗的，月薪3萬起。”
爬蟲技術QQ交流群截圖
在樊彬看來，不論目前市場上還存在哪些牛鬼蛇神，之前靠野路子猛衝猛打的草莽時代已經結束，參與者只有腳踏實地，才能走得穩、走得遠。樊彬透露，他們公司明年的業績指標會設置得更高。“在消費金融繁榮的大背景下，市場足夠大，而且經過這輪整治風暴，合規、持牌，成為行業主旋律，相信以後就是有真實數據公司‘正規軍’的天下。”
李成建對消金社表示，嚴監管推動“良幣驅逐劣幣”的行業洗牌，“這讓從業者深刻地認識到了做事的界限在哪裡，整治後的行業發展到了一個新的關口，而這也許並非壞事。”
注：文中部分受訪者為化名。
閱讀更多 消金社 的文章
