華夏時報（chinatimes.net.cn）記者冉學東 徐曉梅 北京報道
回顧10月發生的大事，多家大數據公司被爆“違規爬蟲”必須位列其中。北上廣深杭地區的多家大數據公司、爬蟲公司、放貸公司等被查。
目前監管層的監管已經進入銀行層面。銀行內部人士透露，銀行已經收到了通知，稱監管層要求銀行填寫是否與第三方數據公司開展合作。
有業內資深分析人士告訴《華夏時報》記者，大數據公司爬取明確禁止或未被授權的信息，都算是違規的，爬取數據時會有一個robots協議，明確了網站中哪些內容是不應被抓取的，哪些是可以抓取的。
大數據公司被查
根據百度百科介紹，網絡爬蟲（又稱為網頁蜘蛛），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。
“通俗點來講，爬蟲它的基本操作就是模擬人的行為去各個網站溜達，點點按鈕，查查數據，或者把看到的信息揹回來。就像一隻蟲子在一幢樓裡不知疲倦地爬來爬去。” 一位從業者王哈魯對本報記者表示。
事實上，爬蟲技術是具有相關數據業務的公司常用的一種技術。上述業內人士對本報記者坦言，百度、谷歌搜索最基本的技術就是爬蟲，自動抓取網頁及相關信息，然後做整合輸出。
至於會抓取到什麼程度呢？“基本上能看到的都能被抓到。”該業內分析人士還對記者補充說，不顯示並不代表不存在，用戶曾經使用的有留存記錄，即使刪除可能還會保存在某數據庫或服務器上，所以仍有被爬蟲到的可能，不過對爬蟲技術會有很高的要求。
大概是9月中旬前後開始，多家大數據公司出現大大小小的事情，起因大都是違規經營爬蟲業務。多家大數據公司被警方調查，高管人員被帶走，也停止了爬蟲服務。
9月6日，杭州魔蠍科技的一位核心高管人員被警方帶走調查。同一天，新顏科技CEO也被警方要求協助調查。之後，還有多家大數據公司被警方調查，包括公信寶、集奧聚合、同盾科技、立木徵信等，相應的爬蟲業務也被迫關停。
行業也嗅到了危險，紛紛主動停止爬蟲服務。在魔蠍科技、新顏科技被查後，第三方數據服務公司聚信立做出反應，並於2019年9月6日停止對外提供用戶授權的運營商爬蟲服務。爬蟲服務平臺白騎士、天機數據也已經暫停爬蟲服務。
值得一提的是，“爬蟲”早在2017年下半年就已經陷入輿論的漩渦，源於一些大數據公司被曝出違規爬蟲竊取現金貸放貸數據。
2017年現金貸發展迅猛，亂象叢生，暴露的問題也越來越多。現金貸成為眾人口誅筆伐的對象。直到監管在2017年12月1日下發整頓現金貸的141號文，行業才有了改善。
現金貸行業出現的問題之一是部分現金貸公司開發了“同業爬蟲”產品，可以直接將其他現金貸公司的包括放貸額度、風控等相關數據爬取過來。這樣一來，現金貸公司大大的減少了放貸成本，通過同業爬蟲就可以解決問題，大數據公司的“爬蟲技術”卻日漸式微。
為了增強自身的競爭力，不少大數據公司打“擦邊球”甚至不惜違規爬蟲。2017年11月，有文章爆出大數據公司聚立信、魔蠍科技有償為現金貸公司爬取放貸數據等，被爬取的公司包括支付寶、微信、其他現金貸公司。
隨後，魔蠍科技COO張俊九發佈內部信表示，未來2個月，將逐漸關停爬蟲業務，同時會啟動向已簽約客戶的賠償機制。這算是承認了公司存在的違規爬蟲問題。
為防止個人信息洩露，行業內也出現了反爬蟲技術。不過上述業內分析人士對本報記者坦言，爬蟲、反爬蟲、反反爬蟲，永遠是一個此消彼長的過程，只要爬數據產生的利益大於成本，就會有人去做。所以反爬蟲的關鍵是加強技術升級，增加爬數據的成本，同時重點監控爬數據的對象，必要時訴諸法律。
可怕的是，很多時候，我們根本不知道是誰在爬取數據。
在移動互聯網迅猛發展的時代，數據和流量對於互聯網公司至關重要，為了兩者甚至不惜一遍遍挑戰監管的底線，最終將會遭到監管的重罰。
監管趨嚴
監管也許會遲到，但一定不會缺席。
據財新報道，10月22日，北京金融局窗口指導摸排區內所有大數據公司是否存在違規爬蟲業務，如果沒有則要求公司做出承諾函，如果存在違規爬蟲業務，要上報並儘快整改。
另外21世紀經濟報道稱，中國人民銀行、中國銀保監會已組成調查組，摸底大數據的使用邊界和採集邊界，將會涉及外包催收公司管理辦法。首批排查和調研的機構包括一諾銀華、萬盛金融和平安普惠。
其中，一諾銀華是上海的一家資產處置公司，曾在2015年10月高調掛牌新三板，在取得掛牌同意函、全國建設分公司後，卻因政策限制悄然退市。如今，另外一家催收公司湖南永雄又欲赴美上市，結果如何記者無從得知。
相關監管文件集中爆發。有銀行內部人士透露，銀行已經收到了通知，稱央行發文緊急調研要求銀行填寫是否與第三方數據公司開展合作。排查內容涉及數據採集、信用欺詐、信用評分、風控建模方面，央行要求上報第三方數據公司的名字、股東背景、是否涉及爬蟲。
總歸一句話，大數據公司將面臨嚴監管，用戶的個人信息也會得到維護。
中國社會科學院金融研究所法與金融研究室副主任尹振濤曾接受本報記者採訪時表示，催收不是一件小事情也不是新鮮事，現在出臺了《網絡安全法》，可能還會有《數據安全管理辦法》、《個人金融信息（數據）保護試行辦法》相繼出臺。
《網絡安全法》於自2017年6月1日起正式實施，明確規定任何個人和組織不得從事非法侵入他人網絡、干擾他人網絡正常功能、竊取網絡數據等危害網絡安全的活動；不得提供專門用於從事侵入網絡、干擾網絡正常功能及防護措施、竊取網絡數據等危害網絡安全活動的程序、工具；明知他人從事危害網絡安全的活動的，不得為其提供技術支持、廣告推廣、支付結算等幫助。網絡數據，是指通過網絡收集、存儲、傳輸、處理和產生的各種電子數據。
2019年6月，網信辦發佈的《數據安全管理辦法（徵求意見稿）》是對《網絡安全法》的細化，對網絡運營者在數據收集、處理使用、安全監督管理等方面提出了要求，同時對公眾關心的個人敏感信息收集方式、廣告精準推送、賬戶註銷難等問題做出了回應。
即將出臺的《個人金融信息（數據）保護試行辦法》則側重於完善徵信機制體制建設，將對金融機構與第三方之間徵信業務活動等進一步做出明確規定，加大對違規採集、使用個人徵信信息的懲處力度。
違規爬蟲的成本提升，網絡數據環境或許會有所改善。
閱讀更多 華夏時報 的文章
