活動 Web 頁面人機識別驗證的探索與實踐

在電商行業,線上的營銷活動特別多。在移動互聯網時代,一般為了活動的快速上線和內容的即時更新,大部分的業務場景仍然通過 Web 頁面來承載。但由於 Web 頁面天生“環境透明”,相較於移動客戶端頁面在安全性上存在更大的挑戰。本文主要以移動端 Web 頁面為基礎來講述如何提升頁面安全性。

活動 Web 頁面的安全挑戰

對於營銷活動類的 Web 頁面,領券、領紅包、抽獎等活動方式很常見。此類活動對於普通用戶來說大多數時候就是“拼手氣”,而對於非正常用戶來說,可以通過直接刷活動 API 接口的“作弊”方式來提升“手氣”。這樣的話,對普通用戶來說,就變得很不公平。

對於活動運營的主辦方來說,如果風控措施做的不好,這類刷接口的“拼手氣”方式可能會對企業造成較大的損失。如本來計劃按 7 天發放的紅包,在上線 1 天就被刷光了,活動的營銷成本就會被意外提升。主辦方想發放給用戶的滿減券、紅包,卻大部分被黃牛使用自動腳本刷走,而真正想參與活動的用戶,卻無法享受活動優惠。

終端用戶到底是人還是機器,網絡請求是否為真實用戶發起,是否存在安全漏洞並且已被“羊毛黨”惡意利用等等,這些都是運營主辦方要擔心的問題。

安全防範的基本流程

為了提升活動 Web 頁面的安全性,通常會引入專業的風控服務。引入風控服務後,安全防護的流程大致如圖所示。


活動 Web 頁面人機識別驗證的探索與實踐



  • Web 前端:用戶通過 Web 頁面來參與活動,同時 Web 前端也會收集用於人機識別驗證的用戶交互行為數據。由於不同終端(移動端 H5 頁面和 PC 端頁面)交互形式不同,收集用戶交互行為數據的側重點也會有所不同。
  • 風控服務:一般大公司都會有專業的風控團隊來提供風控服務,在美團內部有智能反爬系統來基於地理位置、IP地址等大數據來提供頻次限制、黑白名單限制等常規的基礎風控攔截服務。甚至還有依託於海量的全業務場景的大數據,使用貝葉斯模型、神經網絡等來構建專業度較深的服務。風控服務可以為 Web 前端提供通用的獨立驗證 SDK:驗證碼、滑塊驗證等區分人機的“圖靈驗證”,也可以為服務端提供 Web API 接口的驗證等。
  • 後端業務服務:負責處理活動業務邏輯,如給用戶發券、發紅包,處理用戶抽獎等。請求需要經過風控服務的驗證,確保其安全性,然後再來處理實際業務邏輯,通常,在處理完實際業務邏輯時,還會有針對業務本身的風控防範。

對於活動 Web 頁面來說,加入的風控服務主要為了做人機識別驗證。在人機識別驗證的專業領域上,我們可以先看看業界實踐,比如Google 是怎麼做的。

業界人機驗證實踐

Google 使用的人機驗證服務是著名的 reCAPTCHA(Completely Automated Public Turing Test To Tell Computers and Humans Apart,區分人機的全自動圖靈測試系統),也是應用最廣的驗證碼系統。早年的 reCAPTCHA 驗證碼是這樣的:


活動 Web 頁面人機識別驗證的探索與實踐


如今的 reCAPTCHA 已經不再需要人工輸入難以識別的字符,它會檢測用戶的終端環境,追蹤用戶的鼠標軌跡,只需用戶點擊“我不是機器人”就能進行人機驗證(reCAPTCHA騙用戶進行數據標註而進行AI訓練的驗證另說)。


活動 Web 頁面人機識別驗證的探索與實踐


reCAPTCHA 的驗證方式從早先的輸入字符到現在的輕點按鈕,在用戶體驗上,有了較大的提升。

而在活動場景中引入人機識別驗證,如果只是簡單粗暴地增加驗證碼,或者只是像 reCAPTCHA 那樣增加點擊“我不是機器人”的驗證,都會犧牲用戶體驗,降低用戶參加活動的積極性。

Google 的普通 Web 頁面的瀏覽和有強交互的活動 Web 頁面雖是不同的業務場景,但對於活動 Web 頁面來說,強交互恰好為人機識別驗證提供了用戶交互行為數據收集的契機。

人機識別驗證的技術挑戰

理想的方案是在用戶無感知的情況下做人機識別驗證,這樣既確保了安全又對用戶體驗無損傷。

從實際的業務場景出發再結合 Web 本身的環境,如果想實現理想的方案,可能會面臨如下的技術挑戰:

(1)需要根據用戶的使用場景來定製人機識別驗證的算法:Web 前端負責收集、上報用戶交互行為數據,風控服務端校驗上報的數據是否符合正常的用戶行為邏輯。

(2)確保 Web 前端和風控服務端之間通信和數據傳輸的安全性。

(3)確保上述兩大挑戰中提到的邏輯和算法不會被代碼反編譯來破解。

在上述的三個挑戰中,(1)已經實現了人機識別驗證的功能,而(2)和(3)都是為了確保人機識別驗證不被破解而做的安全防範。接下來,本文會分別針對這三個技術挑戰來說明如何設計技術方案。

挑戰一:根據用戶使用場景來定製人機識別驗證算法

先來分析一下用戶的使用場景,正常用戶參與活動的步驟是用戶進入活動頁面後,會有短暫的停留,然後點擊按鈕參與活動。這裡所說的“參與活動”,最終都會在活動頁面發起一個接口的請求。如果是非正常用戶,可以直接跳過以上的實際動作而去直接請求參與活動的接口。

那麼區別於正常用戶和非正常用戶就是那些被跳過的動作,對實際動作進一步歸納如下:

(1)進入頁面。

(2)短暫的停留。

(3)滾動頁面。

(4)點擊按鈕。

以上的動作又可以分為必需的操作和可選的操作。對這一連串動作產生的日誌數據進行收集,在請求參與活動的接口時,將這些數據提交至後端,驗證其合法性。這就是一個簡單的人機識別驗證。

在驗證動作的合法性時,需要考慮到這些動作數據是不是能被輕易模擬。另外,動作的發生應該有一條時間線,可以給每個動作都增加一個時間戳,比如點擊按鈕肯定是在進入頁面之後發生的。

一些特定的動作的日誌數據也會有合理的區間,進入頁面的動作如果以 JS 資源加載的時間為基準,那麼加載時間可能大於 100 毫秒,小於 5 秒。而對於移動端的按鈕點擊,點擊時記錄的座標值也會有對應的合理區間,這些合理的區間會根據實際的環境和情況來進行設置。

除此之外,設備環境的數據也可以進行收集,包括用戶參與活動時使用的終端類型、瀏覽器的類型、瀏覽器是否為客戶端的容器等,如果使用了客戶端,客戶端是否會攜帶特殊的標識等。

最後,還可以收集一些“無效”的數據,這些數據用於障人耳目,驗證算法會將其忽略。儘管收集數據的動作是透明的,但是驗證數據合法性不是透明的,攻擊者無法知道,驗證的算法中怎麼區分哪些是有效、哪些是無效。這已經有點“蜜罐數據”的意思了。

挑戰二:確保通信的安全性

收集的敏感數據要發送給風控服務端,進而確保通信過程的安全。

  • Web API 接口不能被中途攔截和篡改,通信協議使用 HTTPS 是最基本的要求;同時還要讓服務端生成唯一的 Token,在通信過程中都要攜帶該 Token。
  • 接口攜帶的敏感數據不能是明文的,敏感數據要進行加密,這樣攻擊者無法通過網絡抓包來詳細瞭解敏感數據的內容。


Token 的設計

Token 是一個簡短的字符串,主要為了確保通信的安全。用戶進入活動 Web 頁面後,請求參與活動的接口之前,會從服務端獲取 Token。該 Token 的生成算法要確保 Token 的唯一性,通過接口或 Cookie 傳遞給前端,然後,前端在真正請求參與活動的接口時需要帶上該 Token,風控服務端需要驗證 Token 的合法性。也就是說,Token 由服務端生成,傳給前端,前端再原封不動的回傳給服務端。一旦加入了 Token 的步驟,攻擊者就不能直接去請求參與活動的接口了。

Token 由風控服務端基於用戶的身份,根據一定的算法來生成,無法偽造,為了提升安全等級,Token 需要具有時效性,比如 10 分鐘。可以使用 Redis 這類緩存服務來存儲 Token,使用用戶身份標識和 Token 建立 KV 映射表,並設置過期時間為 10 分鐘。

雖然前端在 Cookie 中可以獲取到 Token,但是前端不能對 Token 做持久化的緩存。一旦在 Cookie 中獲取到了 Token,那麼前端可以立即從 Cookie 中刪除該 Token,這樣能儘量確保 Token 的安全性和時效性。Token 存儲在 Redis 中,也不會因為用戶在參與活動時頻繁的切換頁面請求,而對服務造成太大的壓力。

另外,Token 還可以有更多的用處:

  • 標識參與活動用戶的有效性。
  • 敏感數據對稱加密時生成動態密鑰。
  • API 接口的數字簽名。

敏感數據加密

通信時,傳遞的敏感數據可以使用常見的對稱加密算法進行加密。

為了提升加密的安全等級,加密時的密鑰可以動態生成,前端和風控服務端約定好動態密鑰的生成規則即可。加密的算法和密鑰也要確保不被暴露。

通過對敏感數據加密,攻擊者在不瞭解敏感數據內容的前提下就更別提模擬構造請求內容了。

挑戰三:化解紙老虎的尷尬

有經驗的 Web 開發者看到這裡,可能已經開始質疑了:在透明的前端環境中折騰安全不是白折騰嗎?這就好比費了很大的勁卻只是造了一個“紙老虎”,質疑是有道理的,但是且慢,通過一些安全機制的加強是可以讓“紙老虎”儘可能的逼真。

本文一再提及的 Web 環境的透明性,是因為在實際的生產環境中的問題:前端的代碼在壓縮後,通過使用瀏覽器自帶的格式化工具和斷點工具,仍然具備一定的可讀性,花點時間仍然可以理解代碼的邏輯,這就給攻擊者提供了大好的代碼反編譯機會。

如果要化解“紙老虎”的尷尬,就要對前端的代碼進行混淆。

前端代碼混淆

前端的 JS 代碼壓縮工具基本都是對變量、函數名稱等進行縮短,壓縮對於混淆的作用是比較弱。除了對代碼進行壓縮,還需要進行專門的混淆。

對代碼進行混淆可以降低可讀性,混淆工具有條件的話最好自研,開源的工具要慎用。或者基於 Uglify.js 來自定義混淆的規則,混淆程度越高可讀性就越低。

代碼混淆也需要把握一個度,太複雜的混淆可能會讓代碼無法運行,也有可能會影響本身的執行效率。同時還需要兼顧混淆後的代碼體積,混淆前後的體積不能有太大的差距,合理的混淆程度很重要。

活動 Web 頁面人機識別驗證的探索與實踐

斷點工具的防範會更麻煩些。在使用斷點工具時通常都會導致代碼延遲執行,而正常的業務邏輯都會立即執行,這是一個可以利用的點,可以考慮在代碼執行間隔上來防範斷點工具。

通過代碼混淆和對代碼進行特殊的處理,可以讓格式化工具和斷點工具變得沒有用武之地。唯一有些小遺憾,就是處理後的代碼也不能正常使用 Source Map 的功能了。

有了代碼混淆,反編譯的成本會非常高,這樣“紙老虎”已經變得很逼真了。

技術方案設計

在講解完如何解決關鍵的技術挑戰後,就可以把相應的方案串起來,然後設計成一套可以實施的技術方案了。相對理想的技術方案架構圖如下:


活動 Web 頁面人機識別驗證的探索與實踐


下面會按步驟來講解技術方案的處理流程:

Step 0 基礎風控攔截

基礎風控攔截是上面提到的頻次、名單等的攔截限制,在 Nginx 層就能直接實施攔截。如果發現是惡意請求,直接將請求過濾返回 403,這是初步的攔截,用戶在請求 Web 頁面的時候就開始起作用了。

Step 1 風控服務端生成 Token 後傳給前端

Step 0 可能還沒進入到活動 Web 頁面,進入活動 Web 頁面後才真正開始人機識別驗證的流程,前端會先開始獲取 Token。

Step 2 前端生成敏感數據

敏感數據應包含用戶交互行為數據、設備環境數據、活動業務邏輯數據以及無效數據。

Step 3 使用 HTTPS 的簽名接口發送數據

Token 可以作為 Authorization 的值添加到 Header 中,數據接口的簽名可以有效防止 CSRF 的攻擊。

Step 4 數據接口的校驗

風控服務端收到請求後,會先驗證數據接口簽名中的 Token 是否有效。驗證完 Token,才會對敏感數據進行解密。數據解密成功,再進一步對人機識別的數據合法性進行校驗。

Step 5 業務邏輯的處理

前面的步驟為了做人機識別驗證,這些驗證不涉及到業務邏輯。在所有這些驗證都通過後,後端業務服務才會開始處理實際的活動業務邏輯。處理完活動業務邏輯,最終才會返回用戶參與活動的結果。

總結

為了提升活動 Web 頁面的安全性,使用了各種各樣的技術方案,我們將這些技術方案組合起來才能發揮安全防範的作用,如果其中某個環節處理不當,都可能會被當作漏洞來利用,從而導致整個驗證方案被攻破。

為了驗證技術方案的有效性,可以持續觀察活動 API 接口的請求成功率。從請求成功率的數據中進一步分析“誤傷”和“攔截”的數據,以進一步確定是否要對方案進行調優。

通過上述的人機識別驗證的組合方案,可以大幅提升活動 Web 頁面的安全性。在活動 Web 頁面應作為一個標準化的安全防範流程,除了美團,像淘寶和天貓也有類似的流程。由於活動運營的環節和方法多且複雜,僅僅提升了 Web 頁面也不敢保證就是鐵板一塊,安全需要關注的環節還很多,安全攻防是一項長期的“拉鋸升級戰”,安全防範措施也需要持續地優化升級。


  • https://www.google.com/recaptcha/intro/v3.html
  • https://segmentfault.com/a/1190000006226236
  • https://www.freebuf.com/articles/web/102269.html

益國,美團點評 Web 前端開發工程師。2015年加入美團,曾先後負責過風控前端SDK和活動運營平臺的研發,現負責大數據平臺的研發工作。

活動 Web 頁面人機識別驗證的探索與實踐

歡迎加入美團Web前端技術交流群,跟作者零距離交流。進群方式:請加美美同學微信(微信號:MTDPtech02),回覆:人機識別,美美會自動拉你進群。


分享到:


相關文章: