小白看黑客技術文章，一定要點首小歌放鬆心情哈，我最愛盆栽！開始裝逼！
Gospider是一款運行速度非常快的Web爬蟲程序，對於愛好白帽黑客的小白來說，可謂是佳作！Gospider採用厲害的Go語言開發，kali系統中並沒有默認安裝，先看下介紹吧，後面我們再實戰如何安裝以及使用！
Gospider功能介紹
1、快速Web資源爬取
2、爆破與解析sitemap.xml
3、解析robots.txt
4、生成和驗證來自JavaScript文件的鏈接
5、鏈接搜索工具
6、根據響應源搜索AWS-S3
7、根據響應源搜索子域名
8、從Wayback Machine, Common Crawl, Virus Total, Alien Vault獲取URL資源
9、格式化輸出，可配合Grep使用
10、支持Burp輸入
11、支持並行爬取多個站點
12、隨機移動端/Web User-Agent
GO環境安裝
由於採用go語言編寫，要想正確安裝，你還要在自己的kali上安裝go語言編譯環境。
- 下載go環境包
kali終端輸入：
<code>wget dl.google.com/go/go1.14.2.linux-amd64.tar.gz（前面https） 默認下載到/home/kali/主目錄下./<code>
kali下進入root權限：
<code>su 以下的安裝和配置都在root用戶下進行！/<code>
- 解壓go tar文件：
<code>tar -zxvf go1.14.2.linux-amd64.tar.gz/<code>
- 配置go環境變量
將解壓後的文件複製到/usr/local目錄下
在當前用戶下新建go語言下載目錄
設置環境變量
繼續在root用戶下執行：
<code>vim /etc/profile 就是進行全系統安裝使用/<code>
如圖修改即可：
<code>export PATH=￥PATH:/usr/local/go/bin export GOPATH=/home/kali/go_src//<code>
其中export PATH=$PATH:/usr/local/go/bin是將go語言編譯器的路徑添加到系統路徑中，export GOPATH是將我們上一步新建的目錄添加到環境變量中，這個路徑就會成為go語言下載組件的默認路徑。
重啟電腦，此時go環境已經配置好，輸入go version可以看到如圖所示輸出！
- 如果此時你就想使用go get安裝工具？
不可能的！國內，所有的go下載都是被屏蔽了（牆）！怎麼解決呢？我們去看看官方給出的解決辦法：
<code>在kali終端下： go env -w GO111MODULE=on go env -w GOPROXY=https://goproxy.io,direct # 設置不走 proxy 的私有倉庫，多個用逗號相隔（可選） go env -w GOPRIVATE=*.corp.example.com/<code>
設置完上面幾個環境變量後，您的 go 命令將從公共代理鏡像中快速拉取您所需的依賴代碼了，不然下面無法使用go get命令（因為，被牆了！）
使用go安裝gospider工具
<code>go get -u github.comtheblackturtle//gospider 必須在root環境下運行！/<code>
這裡提示：想從jithub下載go'spider的你，千萬要將github.com/jaeles-project/gospider改成github.comtheblackturtle//gospider，不然go get在倉庫中找不到的！
此時會進入迅速的下載，你等等就ok啦！
工具啟動
啟動gospider：
<code>進入go的下載工作目錄go_src/bin下： ./gospider 如圖所示/<code>
終於啟動，接下來，你就自己愉快的玩耍吧！
工具使用說明
Fast web spider written in Go – v1.1.0 by @theblackturtle
Usage:
<code>gospider [flags]/<code>
Flags:
-s, --site string 待爬取的站點地址
-S, --sites string 待爬取的站點列表
-p, --proxy string 代理(例如: http://127.0.0.1:8080)
-o, --output string 輸出目錄
-u, --user-agent string 需要使用的User-Agent
web: 隨機Web User-Agent
mobi: 隨機移動端User-Agent
--cookie string 設置Cookie (testA=a; testB=b)
-H, --header stringArray 設置Header
--burp string 從Burp Http請求加載Header和Cookie
--blacklist string URL黑名單正則式
-t, --threads int 並行線程數量 (默認為1)
-c, --concurrent int 匹配域名允許的最大併發請求數（默認為5）
-d, --depth int 限制爬取的最大深度(設置為0則表示無限遞歸，默認為1)
-k, --delay int Delay是在向匹配域名發送新請求之前需要等待的時間間隔 (秒)
-K, --random-delay int RandomDelay是在創建新請求之前需要等待的額外隨機等待持續時間 (秒)
-m, --timeout int 請求超時(秒) (默認為10)
--sitemap 嘗試爬取sitemap.xml
--robots 嘗試爬取robots.txt
-a, --other-source 從第三方查找URL (Archive.org, CommonCrawl.org, VirusTotal.com)
-w, --include-subs 包含從第三方爬取的子域名，默認為主域名
-r, --include-other-source 包含其他資源的URL
--debug 啟用調試模式
-v, --verbose 啟用verbose模式
--no-redirect 禁用重定向
--version 檢查版本
-h, --help 顯示幫助信息
樣本命令
- 爬取單個網站：
<code>gospider -s "域名" -o output -c 10 -d 1/<code>
- 爬取網站列表：
<code>gospider -S sites.txt -o output -c 10 -d 1/<code>
- 同時爬取20個站點，每個站點分配10個bot：
<code>gospider -S sites.txt -o output -c 10 -d 1 -t 20/<code>
- 從第三方(Archive.org, CommonCrawl.org, VirusTotal.com, AlienVault.com)獲取URL：
<code>gospider -s "域名" -o output -c 10 -d 1 --other-source/<code>
- 從第三方(Archive.org, CommonCrawl.org, VirusTotal.com, AlienVault.com)獲取URL幷包含子域名：
<code>gospider -s "域名" -o output -c 10 -d 1 --other-source --include-subs/<code>
- 使用自定義Header/Cookie：
<code>gospider -s “域名” -o output -c 10 -d 1 –other-source -H “Accept: */*” -H “Test: test” –cookie “testA=a; testB=b”/<code>
<code>gospider -s “域名” -o output -c 10 -d 1 –other-source –burp burp_req.txt/<code>
- URL/文件後綴黑名單
<code>gospider -s "域名" -o output -c 10 -d 1 --blacklist ".(woff|pdf)"/<code>
其實gospider多用於Web攻防滲透實戰中，這也是這款新安全工具如此受歡迎的原因！最後，希望你有所收穫！
小白嘿客我想說
想學習更多白帽黑客Web滲透技術的小白，點擊下方專欄卡片就能加入學習！
關注我，你能學到更多，給個贊，評論吧！
