一個開源、大規模、完整的數據包捕獲,索引和數據庫系統

一個開源、大規模、完整的數據包捕獲,索引和數據庫系統

moloch

Moloch是一個大規模的,開源的,索引化的數據包捕獲和搜索系統。

Moloch增強了您當前的安全基礎架構,以標準PCAP格式存儲和索引網絡流量,從而提供了快速的索引訪問。提供了直觀,簡單的Web界面,用於PCAP瀏覽,搜索和導出。Moloch公開了API,這些API允許直接下載和使用PCAP數據和JSON格式的會話數據。Moloch以標準PCAP格式存儲和導出所有數據包,從而使您還可以在分析工作流程中使用自己喜歡的PCAP提取工具,例如Wireshark。

Moloch構建為可在許多系統上部署,並且可以擴展以處理數十吉比特/秒的流量。PCAP保留時間取決於可用的傳感器磁盤空間。元數據保留基於Elasticsearch集群規模。兩者都可以隨時增加,並且完全由您控制。

背景

Moloch的創建是為了替代AOL於2012年的商用全包系統。通過完全控制硬件和成本,我們發現我們可以在所有網絡上部署全包捕獲,而使用商用工具只需一個網絡即可獲得相同的成本。

Moloch系統由3個組件組成:

  • 捕獲 -一個線程化的C應用程序,用於監視網絡流量,將PCAP格式的文件寫入磁盤,解析捕獲的數據包並將元數據(SPI數據)發送到elasticsearch。
  • 查看器 - 在每臺捕獲機上運行的node.js應用程序。它處理Web界面和PCAP文件的傳輸。
  • elasticsearch-支持Moloch的搜索數據庫技術。

安裝後,用戶可以使用簡單的Web界面查看Moloch捕獲的數據。Moloch提供了數據的多個視圖。主視圖是“會話”頁面,其中包含會話列表。可以打開每個會話以查看元數據和PCAP數據。

一個開源、大規模、完整的數據包捕獲,索引和數據庫系統

查看數據的另一種方法是SPI View頁面,該頁面允許用戶查看Moloch理解的每個字段的所有唯一值。

一個開源、大規模、完整的數據包捕獲,索引和數據庫系統

安裝

大多數用戶應使用我們的下載頁面上可用的預編譯二進制文件,並按照該頁面上的簡單安裝說明進行操作。

對於高級用戶,您可以自己構建Moloch:

git clone github.com/aol/moloch

./easybutton-build.sh --install 下載所有先決條件,構建並安裝

make config -執行初始Moloch配置

用法

Moloch運行後,將瀏覽器指向localhost:8005以訪問Web界面。 單擊“貓頭鷹”以訪問Moloch幫助頁面。

代碼目錄

一個開源、大規模、完整的數據包捕獲,索引和數據庫系統

更多使用方法可以查看官方文檔

開源地址:

https://github.com/aol/moloch

更多更優質的資訊,請關注我,你的支持會鼓勵我不斷分享更多更好的優質文章。


分享到:


相關文章: