COCO 数据集的使用

阅读量：5257 次

发布时间：2019-06-14

本文共 8283 字，大约阅读时间需要 27 分钟。

1 简介

微软发布的 COCO 数据库是一个大型图像数据集, 专为对象检测、分割、人体关键点检测、语义分割和字幕生成而设计。

COCO 数据库的网址是:

MS COCO 数据集主页：

Github 网址：

关于 API 更多的细节在网站:

提供了 Matlab, Python 和 Lua 的 API 接口. 该 API 接口可以提供完整的图像标签数据的加载, parsing 和可视化。此外,网站还提供了数据相关的文章, 教程等。

在使用 COCO 数据库提供的 API 和 demo 之前, 需要首先下载 COCO 的图像和标签数据（类别标志、类别数量区分、像素级的分割等）：

图像数据下载到 coco/images/ 文件夹中

标签数据下载到 coco/annotations/ 文件夹中

下面我们来探讨一下如何利用 Python 来使用 COCO 数据集？

COCO API 对 WIndows 系统不是太友好，首先我先是 fork 了，然后下载到本地，并切换到：D:\API\cocoapi\PythonAPI。

cd D:\API\cocoapi\PythonAPI

打开可以看到 API 的安装和使用说明。

在 Windows 下直接运行 python setup.py build_ext --inplace 会报错：

Windows 中（一般需要安装 visual studio）有许多的坑，参考暴力删掉参数 Wno-cpp 和 Wno-unused-function，如下图所示：

这样，我们便可以使用 pycocotools，不过每次你想要调用 pycocotools 都需要先载入局部环境：

import syssys.path.append('D:\API\cocoapi\PythonAPI')   # 将你的 `pycocotools` 所在路径添加到系统环境

如果你不想这么麻烦，你可以直接将 pycocotools 安装在你的主环境下：

先切换到包所在路径

cd D:\API\cocoapi\PythonAPI

然后，运行

python setup.py build_ext installrd build   # 删除

在 Linux 下，不需要上面这么多编译步骤，我们直接在终端输入下列命令即可正常使用 COCO API：

pip3 install -U Cythonpip3 install -U pycocotools

下面你便可载入 pycocotools 了。

2 COCO API

可以帮助你载入、解析和可视化 annotations。该 API 支持 multiple annotation 格式 (详情见 ). 更多关于 API 的细节可参考，同时你也可以查看。

COCO API 的记号说明：

COCO

3 MASK API

COCO 为每个实例对象提供分割掩码（segmentation masks）。这就产生了两个挑战: 紧凑地存储掩码和高效地执行掩码计算。 MASK API 使用自定义运行长度编码 (Run Length Encoding, RLE) 方案解决这两个难题。RLE 表示的大小与掩码的边界像素数成正比, 并且可以在 RLE 上直接有效地计算操作 (如面积、联合或交集)。具体来说, 假设 shapes 相当简单, RLE 表示形式为 \(O(\sqrt{n}\), 其中 \(n\) 是对象中的像素数, 而通常计算量同样是 \(O(\sqrt{n})\)。在解码掩码 (存储为阵列) 上进行相同操作的自然的计算量将是 \(O(n)\)。

Mask API 提供了一个用于操作以 RLE 格式存储的掩码的接口。这个 API 被定义在。最后, 大多数 ground truth masks 存储为多边形 (相当紧凑), 这些多边形在需要时转换为 RLE。

MASK

下面我们来解读一下。由于 COCO API 对 Windows 不是那么友好，为了避免去调试各种 Bug，下面我们先在 Linux 系统下来使用 COCO API。下面我是在 Jupyter Notebook 下运行代码的。

4 pycocoDemo.ipynb 解读

%matplotlib inlineimport zipfileimport osimport numpy as npimport skimage.io as ioimport matplotlib.pyplot as pltimport pylabpylab.rcParams['figure.figsize'] = (8.0, 10.0)# -------------------try:       # pycocotools 已经加入了全局环境变量中    from pycocotools.coco import COCOexcept ModuleNotFoundError:    import sys    # 加载 COCO API 环境    sys.path.append('D:\API\cocoapi\PythonAPI')    from pycocotools.coco import COCOroot = 'E:/Data/coco'  # 你下载的 COCO 数据集所在目录# 查看 images 下的图片os.listdir(f'{root}/images')

['test2014.zip', 'test2015.zip', 'test2017.zip', 'train2014.zip', 'train2017.zip', 'unlabeled2017.zip', 'val2014.zip', 'val2017.zip']

下面我以 val2017.zip 图片数据集为例，来说明下面的一些问题。

Z = zipfile.ZipFile(f'{root}/images/val2017.zip')Z.namelist()[7]   # 查看一张图片的文件名

'val2017/000000463918.jpg'

由于 Z.read 函数返回的是 bytes，所以，我们需要借助一些其他模块来将图片数据转换为 np.uint8 形式。

img_b = Z.read(Z.namelist()[7])print(type(img_b))

方式1：np.frombuffer(img_b, 'B')

import numpy as npimport cv2img_flatten = np.frombuffer(img_b, 'B')img_cv = cv2.imdecode(img_flatten, cv2.IMREAD_ANYCOLOR)print(img_cv.shape)

(359, 500, 3)

方式2：imageio.imread

import imageioimg_io = imageio.imread(img_b)print(img_io.shape)

(359, 500, 3)

方式3：mxnet.image.imdecode

import mxnet as mximg_mx = mx.image.imdecode(img_b)

下面我们来看看这张图片张什么样？

from matplotlib import pyplot as  pltplt.subplot(231)plt.imshow(cv2.cvtColor(img_cv, cv2.COLOR_BGR2RGB))plt.title('OpenCV')plt.axis('off')plt.subplot(232)plt.imshow(img_io)plt.title('imageio')plt.axis('off')plt.subplot(233)plt.imshow(img_io)plt.title('MXNet')plt.axis('off')plt.show()

考虑到 OpenCV 的高效性，我们采用方式1 来处理 images 下的图片数据。

def buffer2array(Z, image_name):    '''    无需解压，直接获取图片数据        参数    ===========    Z:: 图片数据是 ZipFile 对象    '''    buffer = Z.read(image_name)    image = np.frombuffer(buffer, dtype="B")  # 将 buffer 转换为 np.uint8 数组    img = cv2.imdecode(image, cv2.IMREAD_COLOR)    return imgimg = buffer2array(Z, Z.namelist()[8])print('图片的尺寸：', img.shape)

图片的尺寸： (480, 640, 3)

4.1 获取标签信息（利用官方给定教程）

这里有一个坑 (由 PIL 引发) import skimage.io as io 在 Windows 下可能会报错，我的解决办法是：

先卸载 Pillow，然后重新安装即可。

插曲：PIL(Python Imaging Library)是Python一个强大方便的图像处理库，名气也比较大。Pillow 是 PIL 的一个派生分支，但如今已经发展成为比 PIL 本身更具活力的图像处理库。

dataDir = cocox.rootdataType = 'val2017'annFile = '{}/annotations/instances_{}.json'.format(dataDir, dataType)

# initialize COCO api for instance annotationscoco=COCO(annFile)

loading annotations into memory...Done (t=0.93s)creating index...index created!

COCO??

COCO 是一个类：

Constructor of Microsoft COCO helper class for reading and visualizing annotations.:param annotation_file (str): location of annotation file:param image_folder (str): location to the folder that hosts images.

4.2 COCO categories and supercategories

cats = coco.loadCats(coco.getCatIds())nms = [cat['name'] for cat in cats]print('COCO categories: \n{}\n'.format(' '.join(nms)))nms = set([cat['supercategory'] for cat in cats])print('COCO supercategories: \n{}'.format(' '.join(nms)))

COCO categories: person bicycle car motorcycle airplane bus train truck boat traffic light fire hydrant stop sign parking meter bench bird cat dog horse sheep cow elephant bear zebra giraffe backpack umbrella handbag tie suitcase frisbee skis snowboard sports ball kite baseball bat baseball glove skateboard surfboard tennis racket bottle wine glass cup fork knife spoon bowl banana apple sandwich orange broccoli carrot hot dog pizza donut cake chair couch potted plant bed dining table toilet tv laptop mouse remote keyboard cell phone microwave oven toaster sink refrigerator book clock vase scissors teddy bear hair drier toothbrushCOCO supercategories: appliance sports person indoor vehicle food electronic furniture animal outdoor accessory kitchen

# get all images containing given categories, select one at randomcatIds = coco.getCatIds(catNms=['person', 'dog', 'skateboard'])imgIds = coco.getImgIds(catIds=catIds)imgIds = coco.getImgIds(imgIds=[335328])img = coco.loadImgs(imgIds[np.random.randint(0, len(imgIds))])[0]

img

{'license': 4, 'file_name': '000000335328.jpg', 'coco_url': 'http://images.cocodataset.org/val2017/000000335328.jpg', 'height': 640, 'width': 512, 'date_captured': '2013-11-20 19:29:37', 'flickr_url': 'http://farm3.staticflickr.com/2079/2128089396_ddd988a59a_z.jpg', 'id': 335328}

官方给的这个代码需要将图片数据集解压：

# load and display image# use url to load image# I = io.imread(img['coco_url'])I = io.imread('%s/images/%s/%s' % (dataDir, dataType, img['file_name']))plt.axis('off')plt.imshow(I)plt.show()

我们可以使用 zipfile 模块直接读取图片，而无须解压：

image_names[-1]

'E:/Data/coco/images/val2017.zip'

val_z = zipfile.ZipFile(image_names[-1])I = image.imdecode(val_z.read('%s/%s' % (dataType, img['file_name']))).asnumpy()# 或者直接使用 I = buffer2array(val_z, val_z.namelist()[8])plt.axis('off')plt.imshow(I)plt.show()

4.3 载入和展示 instance annotations

plt.imshow(I)plt.axis('off')annIds = coco.getAnnIds(imgIds=img['id'], catIds=catIds, iscrowd=None)anns = coco.loadAnns(annIds)coco.showAnns(anns)

coco api

4.4 载入人体关键点标注

初始化人体关键点标注（person keypoints annotations）的 COCO api

annFile = '{}/annotations/person_keypoints_{}.json'.format(dataDir, dataType)coco_kps = COCO(annFile)

loading annotations into memory...Done (t=0.43s)creating index...index created!

show：

plt.imshow(I)plt.axis('off')ax = plt.gca()annIds = coco_kps.getAnnIds(imgIds=img['id'], catIds=catIds, iscrowd=None)anns = coco_kps.loadAnns(annIds)coco_kps.showAnns(anns)

人体关键点

4.5 载入和展示 caption annotations

annFile = '{}/annotations/captions_{}.json'.format(dataDir, dataType)coco_caps = COCO(annFile)

loading annotations into memory...Done (t=0.06s)creating index...index created!

show：

annIds = coco_caps.getAnnIds(imgIds=img['id'])anns = coco_caps.loadAnns(annIds)coco_caps.showAnns(anns)plt.imshow(I)plt.axis('off')plt.show()

A couple of people riding waves on top of boards.a couple of people that are surfing in waterA man and a young child in wet suits surfing in the ocean.a man and small child standing on a surf board  and riding some wavesA young boy on a surfboard being taught to surf.

caption

5 更新

2018/11/29

我在 Github 上放置了一个仓库：，该仓库存储一些数据集处理相关的 API，如果感觉对您有帮助，请给个 star。

你也可以在线编辑：

除此之外，我还写了一个。

为了令 Windows 系统也可以更好的使用 COCO 数据集，我打算开发一个可以适用于 Windows 和 Linux 系统是 API，同时利用 Python 的 ZipFile 模块直接读取 images 下的图片数据以及 annotations 下的标注数据。（直接跳过解压这一费时的步骤）该 API 的更新我放置在了。欢迎大家阅览！