如何在物体检测代码中使用ROI Pool和ROI Align(PyTorch 1.0)

作者:Andrew Jong
编译:ronghuaiyang

导读

如果你想做一个与计算机视觉或图像处理相关的深度学习项目,你可能会用到ROI Pool和ROI Align层。虽然最初是为目标检测而构建的,但是ROI Pool的变体对于从图像的局部区域提取信息也很有用。

如果你想做一个与计算机视觉或图像处理相关的深度学习项目,你可能会用到ROI Pool和ROI Align层。虽然最初是为目标检测而构建的,但是ROI Poll的变体对于从图像的局部区域提取信息也很有用。例如,你可能想从一个人身上提取特定的身体部位:

如何在物体检测代码中使用ROI Pool和ROI Align(PyTorch 1.0)

在此图中,ROI Pool用来从图像中的六个任意大小的区域提取纹理信息。ROI Pooling将矩形转换成一个漂亮的方形的张量。

我发现了许多有用的文章,解释了ROI Pool和ROI Align在概念上是如何工作的,然而,我没有找到任何关于如何将ROI Pooling/Aglign层在我的神经网络中编写代码的清晰教程。

不幸的是,PyTorch没有内置ROI Pool(及其变体)。当然,你可以自己实现这些层。但是要实现一个实际的与gpu兼容的实现,你必须花时间在CUDA中编写代码。更实际的选择是使用第三方库。然而,这些库大多数都没有文档。

因此,这篇文章总结了我从几周的探索、实验和与无文档库的斗争中学到的东西。我将解释如何安装和编译第三方实现以供你的项目使用,以及如何使用所提供的ROI层的API。希望有了这个指南,我可以节省别人很多时间!

安装

我使用了来自https://github.com/jwyang/faster-rcnn.pytorch的ROI层实现。这是GitHub上最流行的fast-rcnn PyTorch库,因此提供了一个可靠的选择。另外,我认为这里的一些ROI层代码受Facebook的maskrcnn-benchmark库的影响很大。(Maskrcnn介绍了改进的变体,ROI Align!)

注意:我使用的是Python 3.7,但是这应该适用于任何Python版本(2.7或以上)。我还使用了PyTorch 1.0,但是PyTorch 0.4的用户应该能够进行一些小的调整。

首先,克隆jwyang的fast -rcnn.pytorch库。然后确保check out出pytorch-1.0分支。这是很重要的!编译步骤在master分支(对于PyTorch 0.4)和PyTorch -1.0分支之间有所不同。

git clone https://github.com/jwyang/faster-rcnn.pytorch.git
cd faster-rcnn.pytorch
git checkout pytorch-1.0

复制自述文件中的说明,使用pip安装requirements ,然后使用Python安装使用setup tools安装和编译:

如何在物体检测代码中使用ROI Pool和ROI Align(PyTorch 1.0)

jwyang/fast -rcnn截图。pytorch-1.0分支上的自述,显示编译指令。

pip install -r requirements.txt
cd lib
python setup.py build develop

要点:要能够使用ROI-Pool和ROI-Align层,必须在Python环境中安装 requirements.txt。否则会遇到segfault错误。如果使用conda,请确保激活的环境与用于编译库的环境相同。

要确保安装成功,打开Python提示符并键入:

>>> import sys
>>> sys.path.append(“/[location_to]/faster-rcnn.pytorch/lib”)
>>> from model.roi_layers import ROIPool # PyTorch 1.0 specific!
>>> roi_pool = ROIPool((2,2), 1)

[location_to]是fast -rcnn所在的位置。sys.path语句将编译后的库附加到Python的路径中,这样我们就可以导入“ROIPool”。

如果一切顺利,应该不会出现导入错误。如果导入失败,则说明编译出错或路径不正确。

注意:import语句是特定于PyTorch 1.0的。如果你使用PyTorch 0.4,正确的导入语句是:> from model.roipooling.modules import roipool # PyTorch 0.4

基本用法

好!既然我们已经编译了这个库并验证了它是可以工作的,那么我们如何使用在实际项目中使用ROI Pool和ROI Align呢?

用法如下:

如何在物体检测代码中使用ROI Pool和ROI Align(PyTorch 1.0)

如果你已经对如何加载ROI文件以及spatial_scale和sampling_ratio的含义很有信心,那么你就可以往下走了!只是需要注意一下sampling_ratio的值意味着ROI Align将会对每个bin采样sampling_ratio²个点,例如sampling_ratio=2将通过双线性插值对每个bin采样4个点,然后对这些点进行平均。

如果你不知道这些词的意思,那就继续读下去!

细节

首先,如果你还不知道ROI Pool的概念,请阅读教程:(https://deepsense.ai/region-of-interest-pooling-explained/)。

ROI Pool 需要 1)图像,2)感兴趣区域(ROI)进行提取。这个图像很简单—就是标准的张量。你的DataLoader的输出生成一个(batch×channel×height×width)形状的张量。但是我们如何来用ROI呢?ROIs长什么样呢?

ROI Data长什么样子?

按照实际标准,ROIs是用第一列中的image-ID进行格式化的。其余四列包含边框左上角和右下角的坐标。

如何在物体检测代码中使用ROI Pool和ROI Align(PyTorch 1.0)

在上面的示例中,对于image-ID 0有两个roi,对于image-ID为1有两个roi。

通常,所有roi都存储在一个csv文件中。我们可以使用pandas将它加载到一个numpy数组中,然后将该数组转换为一个PyTorch张量。最后,创建一个自定义数据集和DataLoader将图像+ roi输入到你的神经网络。

当我们向ROI层提供数据时,输入维度必须如下所示:

如何在物体检测代码中使用ROI Pool和ROI Align(PyTorch 1.0)

ROI维度和图像id的问题

但是,你可能会注意到,dataloader总是为批大小添加额外的维度。例如,如果你的minibatch处理大小为4,那么DataLoader将生成一个 (4×n×5)的ROI张量。但是roipool和roialign 只适用于(n×5)张量。我们该怎么办?

解决方法是用PyTorch的view()函数重新构造ROI张量:

# turn our (batch_size×n×5) ROI into just (n×5)
rois = rois.view(-1, 5)

另一个问题是图像id将不会与批处理索引对齐。这是因为数据集中的每个图像id都是惟一的,但是批处理索引是0~batch_size。因此,我们必须手动“重置”图像id:

# reset ROI image-ID to align with the 0-indexed minibatch
rois[:, 0] = rois[:, 0] - rois[0, 0]

ROI层初始化参数

我们构建如下所示的ROI层,但是这些参数都是什么意思呢?

# init the layers
roi_pool = ROIPool((width, height), spatial_scale)
roi_align = ROIAlign((width, height), spatial_scale, sampling_ratio)

让我们从一个典型的CNN开始。下面是VGG16的示意图:

如何在物体检测代码中使用ROI Pool和ROI Align(PyTorch 1.0)

CNN在网络中的传播中可以有效的对图像进行下采样。这个比例因子是空间缩放比例。例如,第4层(28×28)相对于输入(224×224)的空间尺度为28/224=0.125。如果我们要在第4层进行ROI池,我们将向spatial_scale参数传递0.125。

在ROI align中sampling_ratio是什么?为了理解这一点,我们需要了解一下ROI是如何对齐的。(http://check%20out%20page%203%20from%20this%20excellent%20writeup/)的第3页提供了一个很好的解释。

如何在物体检测代码中使用ROI Pool和ROI Align(PyTorch 1.0)

每个“bin”在ROI Align 层输出大小中的值由双线性插值样本的平均确定。在左边的图像中,每个bin有4个样本(蓝色的点)。

参数sampling_ratio决定采样的“宽度”。例如,如果sampling_ratio=2,采样将有2×2=4个点。(如果你想自己验证这一点,请查看实现的底层C源代码。)

总结

希望现在你已经了解了如何在PyTorch中为你自己的神经网络添加ROI层。我们介绍了如何从jwyang的库中安装ROI实现,如何在代码中使用层和ROI,并解释了初始化参数。如果你有任何问题,请在评论中告诉我。编程快乐!

英文原文:https://medium.com/@andrewjong87/how-to-use-roi-pool-and-roi-align-in-your-neural-networks-pytorch-1-0-b43e3d22d073

如何在物体检测代码中使用ROI Pool和ROI Align(PyTorch 1.0)


分享到:


相關文章: