一个开源、大规模、完整的数据包捕获,索引和数据库系统

一个开源、大规模、完整的数据包捕获,索引和数据库系统

moloch

Moloch是一个大规模的,开源的,索引化的数据包捕获和搜索系统。

Moloch增强了您当前的安全基础架构,以标准PCAP格式存储和索引网络流量,从而提供了快速的索引访问。提供了直观,简单的Web界面,用于PCAP浏览,搜索和导出。Moloch公开了API,这些API允许直接下载和使用PCAP数据和JSON格式的会话数据。Moloch以标准PCAP格式存储和导出所有数据包,从而使您还可以在分析工作流程中使用自己喜欢的PCAP提取工具,例如Wireshark。

Moloch构建为可在许多系统上部署,并且可以扩展以处理数十吉比特/秒的流量。PCAP保留时间取决于可用的传感器磁盘空间。元数据保留基于Elasticsearch集群规模。两者都可以随时增加,并且完全由您控制。

背景

Moloch的创建是为了替代AOL于2012年的商用全包系统。通过完全控制硬件和成本,我们发现我们可以在所有网络上部署全包捕获,而使用商用工具只需一个网络即可获得相同的成本。

Moloch系统由3个组件组成:

  • 捕获 -一个线程化的C应用程序,用于监视网络流量,将PCAP格式的文件写入磁盘,解析捕获的数据包并将元数据(SPI数据)发送到elasticsearch。
  • 查看器 - 在每台捕获机上运行的node.js应用程序。它处理Web界面和PCAP文件的传输。
  • elasticsearch-支持Moloch的搜索数据库技术。

安装后,用户可以使用简单的Web界面查看Moloch捕获的数据。Moloch提供了数据的多个视图。主视图是“会话”页面,其中包含会话列表。可以打开每个会话以查看元数据和PCAP数据。

一个开源、大规模、完整的数据包捕获,索引和数据库系统

查看数据的另一种方法是SPI View页面,该页面允许用户查看Moloch理解的每个字段的所有唯一值。

一个开源、大规模、完整的数据包捕获,索引和数据库系统

安装

大多数用户应使用我们的下载页面上可用的预编译二进制文件,并按照该页面上的简单安装说明进行操作。

对于高级用户,您可以自己构建Moloch:

git clone github.com/aol/moloch

./easybutton-build.sh --install 下载所有先决条件,构建并安装

make config -执行初始Moloch配置

用法

Moloch运行后,将浏览器指向localhost:8005以访问Web界面。 单击“猫头鹰”以访问Moloch帮助页面。

代码目录

一个开源、大规模、完整的数据包捕获,索引和数据库系统

更多使用方法可以查看官方文档

开源地址:

https://github.com/aol/moloch

更多更优质的资讯,请关注我,你的支持会鼓励我不断分享更多更好的优质文章。


分享到:


相關文章: