玩转Facebook的maskrcnn-benchmark项目 1

4,809 阅读2分钟

maskrcnn-benchmark是Facebook开源的基准(benchmark)算法工程,其中包含检测分割人体关键点等算法。

目前,很多基于PyTorch框架的检测、分割的SOTA算法,都是这个项目的改进。例如CVPR 2019 Oral Paper,Mask Scoring R-CNN

工程:github.com/facebookres…

名称:Faster R-CNN and Mask R-CNN in PyTorch 1.0

  1. 如何使用pip环境配置工程;
  2. 如何使用MacOS的CPU环境配置依赖库;

环境:MacOS + pip + torch + maskrcnn-benchmark

本系列包含两篇:


配置

下载maskrcnn-benchmark工程

git clone https://github.com/facebookresearch/maskrcnn-benchmark.git

virtualenv创建虚拟环境,选择python3,同时激活。

virtualenv -p python3 mlp3_venv

必须使用Python3.6.8+,推荐使用3.7

或者 使用已有的虚拟环境。

安装依赖包:

pip install ninja yacs cython matplotlib tqdm opencv-python

安装PyTorch,直接官网

pip3 install torch torchvision

Mac + PyTorch

依赖库

maskrcnn-benchmark需要两个依赖库cocoapi和apex,参考略有不同

安装包:pycocotools 2.0,激活已有的虚拟环境,再执行:

git clone https://github.com/cocodataset/cocoapi.git
cd cocoapi/PythonAPI
python setup.py build_ext install

安装包:apex 0.1,执行:

git clone https://github.com/NVIDIA/apex.git
cd apex
MACOSX_DEPLOYMENT_TARGET=10.9 CC=clang CXX=clang++ python setup.py install --cpp_ext

Ubuntu服务器,可以使用以下命令,参考

cd apex
pip install -v --no-cache-dir .

注意:

  • MACOSX_DEPLOYMENT_TARGET=10.9 CC=clang CXX=clang++是Mac所特有,指定编译的C++库;
  • CPU环境,不添加--cuda_ext

安装包:maskrcnn-benchmark 0.1,执行

cd maskrcnn-benchmark
MACOSX_DEPLOYMENT_TARGET=10.9 CC=clang CXX=clang++ python setup.py build develop

预测

·.torch/models中,下载模型,约458M:

wget https://dl.fbaipublicfiles.com/detectron/37697547/12_2017_baselines/e2e_keypoint_rcnn_R-50-FPN_1x.yaml.08_42_54.kdzV35ao/output/train/keypoints_coco_2014_train%3Akeypoints_coco_2014_valminusminival/generalized_rcnn/model_final.pkl

重命名:

mv model_final.pkl _detectron_37697547_12_2017_baselines_e2e_keypoint_rcnn_R-50-FPN_1x.yaml.08_42_54.kdzV35ao_output_train_keypoints_coco_2014_train%3Akeypoints_coco_2014_valminusminival_generalized_rcnn_model_final.pkl

使用OpenCV读取图片,cv2.imread();

加载配置文件e2e_keypoint_rcnn_R_50_FPN_1x_caffe2.yaml,其中:

  • keypoint是关键点算法;
  • rcnn是检测算法;
  • R_50是ResNet50;
  • FPN是特征金子塔(Feature Pyramid Networks);
  • 1x是训练方案,即minibatch为16,该方案的初始LR=0.02,并在60K和80K次迭代后衰减*0.1,在90K次迭代终止,参考

使用CPU模式,MODEL.DEVICE设置为cpu;

创建模型COCO Demo,最小图片尺寸800,置信度0.7;

调用run_on_opencv_image接口预测图片,生成已绘制结果的图片。

源码如下:

import os
import cv2
import pylab
import matplotlib.pyplot as plt

from maskrcnn_benchmark.config import cfg
from demo.predictor import COCODemo

from root_dir import DATA_DIR


def show_cv_img(img_cv):
    img = cv2.cvtColor(img_cv, cv2.COLOR_BGR2RGB)
    plt.imshow(img)
    plt.axis("off")
    fig = plt.gcf()
    fig.set_size_inches(10, 8)
    pylab.show()


def main():
    img_path = os.path.join(DATA_DIR, 'girl_generation.jpg')

    img = cv2.imread(img_path)
    print('[Info] img size: {}'.format(img.shape))
    show_cv_img(img)

    config_file = "../configs/caffe2/e2e_keypoint_rcnn_R_50_FPN_1x_caffe2.yaml"

    cfg.merge_from_file(config_file)  # 设置配置文件
    cfg.merge_from_list(["MODEL.DEVICE", "cpu"])  # 指定为CPU

    coco_demo = COCODemo(  # 创建模型文件
        cfg,
        min_image_size=800,
        confidence_threshold=0.7,
    )

    predictions = coco_demo.run_on_opencv_image(img)
    show_cv_img(predictions)


if __name__ == '__main__':
    main()

效果:

测试图片


Troubleshooting

常见问题的解决方案。

libomp.dylib

遇到如下问题:libomp.dylib无法加载

ImportError: dlopen(python3.7/site-packages/torch/_C.cpython-37m-darwin.so, 9): Library not loaded: /usr/local/opt/libomp/lib/libomp.dylib
  Referenced from: python3.7/site-packages/torch/lib/libshm.dylib
  Reason: image not found

安装libomp包:

brew install libomp

参考:github.com/pytorch/pyt…

torch.version.cuda.split('.')

GPU的版本,异常:

get_cuda_version
    return tuple(int(x) for x in torch.version.cuda.split('.'))
AttributeError: 'NoneType' object has no attribute 'split'

环境是Mac的CPU环境,没有GPU,而在apex源码中,依然寻找GPU,导致Bug,修改源码即可:

/apex/amp/lists/torch_overrides.py的第69行,增加Try-Except语句,屏蔽异常:

try:
    if utils.get_cuda_version() >= (9, 1, 0):
        FP16_FUNCS.extend(_bmms)
    else:
        FP32_FUNCS.extend(_bmms)
except:
    FP32_FUNCS.extend(_bmms)

fatal error: Python.h: No such file or directory

缺少Python的头文件,安装开发版即可:

sudo apt-get install python3-dev

推荐使用apt-fast下载,非常快。


OK, that's all!