任何重要的決定都應基於數據，對於信息項目和軟件開發亦是如此。如果你不仔細查看描述項目演進的數據就無法瞭解項目的健康狀況，並給出合理的改進措施。為了分析和挖掘這些信息，我們可以從Git存儲庫和項目所在的代碼託管平臺（例如GitHub，Gitlab）獲取一些有意義的數據。然而從Git/GitHub輕鬆獲取數據實際也不是一件簡單的事情。本文蟲蟲就給大家介紹一些Git/GitHub開源分析工具供大家學習參考。
GitHub API
首先要說的是Github的官方API，這是獲取GitHub倉庫詳細的最佳方式。API非常好用，你可以使用curl或者其他任何語言打包庫，獲取倉庫的所有信息（其他公共在線Git託管平臺或者自建的Gitlab都有類似的API）。然而，討厭的是Github對API的調用做了限制，每小時的請求數量是有限制的（匿名用戶60次，授權用戶5000次），如果你要分析大型項目（或對其中一些進行全局分析），則使用API並不是一個好的解決方案。但是，一般用來對個別構建專注於單個項目或貢獻者的某種儀表板是不會受到影響的。
通過Github API，你基本上獲得訪問瀏覽項目Github倉庫時看到的所有信息，但是對倉庫的Git信息內部信息有限（例如，想知道在最近的一天修改了哪些代碼行）。你需要clone 倉庫後通過git命令才能獲得完全信息。
GHCrawler
GHCrawler是由微軟開發的一個健壯的GitHub API 爬蟲，可遍歷GitHub實體和消息，對其進行搜索和跟蹤。如果要對某一組織或者項目的活動進行分析，則GHCrawler特別有用。GHCrawler也受Github API請求次數的限制，但是GHCrawler通過使用令牌池和輪換來優化API令牌的使用。GHCrawler支持命令行式調用，同時也支持一個Web端界面操作（ghcrawler-dashboard）
項目官方倉庫：https://github.com/Microsoft/ghcrawler
GH Archive
GH Archive是一個開源的一個項目，用於記錄公共GitHub時間軸，對其進行存檔，並使其易於訪問以進行進一步分析。GitHub Archive獲取所有的GitHub events信息存儲在一組JSON文件中，以便根據需要下載並脫機處理。
另外，GitHub Archive也可以作為公共數據集在Google BigQuery上使用。該數據集每小時自動更新一次，可以在幾秒鐘內對整個數據集運行任意類似SQL的查詢。
項目官方網站：https://www.gharchive.org
GHTorren
和GH Archive類似，GHTorrent項目也用來監視Github公共事件時間表信息。對於每個事件，它都詳盡地檢索其內容和相互依賴性。然後將結果JSON的信息存儲到MongoDB數據庫，同時還將其結構提取到MySQL數據庫中。
GHTorrent和GH Archive有點類似，兩者區別是GH Archive旨在提供更詳盡的事件集合，按小時頻率獲取信息。而GH Torrent則以更結構化的方式提供事件數據，以使更輕鬆地獲取所有事件有關事件的信息，數據獲取頻率為月。
項目官方倉庫：https://github.com/ghtorrent
Kibble
Apache Kibble是一套用於收集，彙總和可視化軟件項目中活動的工具。Kibble架構由一箇中央Kibble服務器和一組專門用於處理特定類型資源的掃描應用程序（一個git repo，一個郵件列表，一個JIRA實例等）並將已編譯的數據對象推送到Kibble服務器。
根據這些數據，可以自定義一個儀表板，其中包含許多顯示項目數據的小部件（語言分類，主要貢獻者，代碼演變等）。從這個意義上講，Kibble更像是一種工具，可以幫助創建項目數據信息展示Web端。
項目官方網站：https://kibble.apache.org/
CHAOSS
CHAOSS是Linux 基金會下項目，致力於創建數據析和指標定義以幫助一個健康的開源社區。CHAOSS計劃項目有很多工具可以挖掘和計算項目所需的指標數據：
Augur是一個Python庫、Flask Web應用程序和REST服務器，用於提供有關開源軟件開發項目運行狀況和可持續性的指標。目標是作為CHAOSS社區感興趣的新指標的快速原型製作。
Cregit則專注於生成視圖以可視化代碼更改的出處
GrimoireLab Bitergia旗下迄今為止最成熟和雄心勃勃的工具。GrimoireLab的目的是提供一個開源平臺實現：
1. 幾乎可以從任何與開源開發相關的工具（數據源）中收集自動和增量數據（源代碼管理，問題跟蹤系統，論壇等）
自動豐富數據以清理和擴展上面收集的數據（合併重複的身份，添加有關貢獻者隸屬關係，計算延遲，地理數據等的其他信息）
數據可視化，按時間範圍，項目，存儲庫，貢獻者等進行過濾搜索。
GrimoireLab使用Kibana在收集的數據之上提供所有這些出色的可視化效果。
CHAOSS項目官方網站：https://chaoss.community/
Sourced
Sourced自稱為開發生命週期的數據平臺。與以前的工具相比，它更多地關注項目的代碼，而不是社區的協作。Sourced項目使用通用AST，可以實現與語言無關的方式對代碼庫細節查詢。
在Sourced項目組織中，可以找到幾個有趣的數據分析工具。包括：
go-git：用純Golang語言編寫的高度可擴展的git實現庫。
Hercule：Golang實現的對存儲庫的整個提交歷史記錄分析工具。
gitbase：Golang 實現的Git存儲庫SQL數據庫接口。比如按年月和提交者的提交信息，可以使用如下Sql語句：
SELECT YEAR,
MONTH,
repo_id,
committer_email,
COUNT(*) AS num_commits
FROM
(SELECT YEAR(committer_when) AS YEAR,
MONTH(committer_when) AS MONTH,
repository_id AS repo_id,
committer_email
FROM ref_commits
NATURAL JOIN commits
WHERE ref_name = 'HEAD') AS t
GROUP BY committer_email,
YEAR,
MONTH,
repo_id;
項目官方網站：https://sourced.tech/
Github項目組織：https://github.com/src-d
Hubble
Hubble用於可視化GitHub Enterprise的協作、使用情況和運行狀況數據。它致力於幫助大公司瞭解其內部組織，項目和貢獻者如何一起分配和協作。
Hubble Enterprise由兩個組件組成。更新器組件是一個Python腳本，它每天從GitHub Enterprise設備查詢相關數據，並將結果存儲在Git存儲庫中。docs組件是一個Web應用程序，用於可視化收集的數據，並由GitHub Pages託管。
官方項目託管地址：https://github.com/Autodesk/hubble
onefetch
最後提一個非常漂亮的命令行下的git項目信息可視化的工具，支持對50多種語言，提及它是因為它是用新興的Rust語言編寫的。
總結
本文我們列舉一些對github/git進行數據挖掘的工具和項目。除了上面提及以下開源軟件外，有一些商業化的工具也非常不錯，比如Snoot和Waydev。
閱讀更多 蟲蟲安全 的文章
