imutils库源码解析，看它如何调用opencv（二）- 面部工具Steven的博客-

imutils 这个图像处理工具包，除了简化 opencv 的一些操作之外，还有专门配合 dlib 处理人脸数据的工具 face_utils。dlib 提取人脸数据后，五官都是用一些特征点来表示的，每个部位的点的索引是固定的，想要进一步操作就得对这些点进行处理，而 face_utils 就是简化这些点的表现方式

本文就来解析一下 face_utils 的处理方法，方便我们理解它的用处

特征点索引提取

查看源码：

#For dlib’s 68-point facial landmark detector: FACIAL_LANDMARKS_68_IDXS = OrderedDict([ ("mouth", (48, 68)), ("inner_mouth", (60, 68)), ("right_eyebrow", (17, 22)), ("left_eyebrow", (22, 27)), ("right_eye", (36, 42)), ("left_eye", (42, 48)), ("nose", (27, 36)), ("jaw", (0, 17)) ]) 

特征点区域图：

dlib 提取人脸特征点是用 68 个点包围每个部位，如上图，例如第 37 个点到第 42 个点就代表右眼，在图片上这几个点若显示出来就是把右眼那块区域包围着，可以通过这些点之间距离的变化来判断人脸的变化，比如是否眨眼等操作

imutils 通过 OrderedDict 把这些点的索引与其表示的区域直接通过字典形式联系起来，之后再提取某个部位的点时，就不用去查点的索引分布了，例如想提取嘴部特征点，其索引可以通过:

(mStart, mEnd) = face_utils.FACIAL_LANDMARKS_68_IDXS["mouth"] 

把 FACIAL_LANDMARKS_68_IDXS 打印出来看看：

人脸区域坐标转换

查看源码：

def rect_to_bb(rect): # take a bounding predicted by dlib and convert it # to the format (x, y, w, h) as we would normally do # with OpenCV  x = rect.left()  y = rect.top()  w = rect.right() - x  h = rect.bottom() - y   # return a tuple of (x, y, w, h) return (x, y, w, h) 

dlib 提取人脸区域是后是用 4 个数表示，分别代表上下左右的边界。

rect_to_bb 将其转换为坐标信息，即(左上角横坐标, 左上角纵坐标, 矩形宽度, 矩形长度)，之后就可以通过这个坐标将人脸区域用矩形框出来显示

特征点坐标提取

查看源码：

def shape_to_np(shape, dtype="int"): # initialize the list of (x, y)-coordinates  coords = np.zeros((shape.num_parts, 2), dtype=dtype) # loop over all facial landmarks and convert them # to a 2-tuple of (x, y)-coordinates for i in range(0, shape.num_parts):   coords[i] = (shape.part(i).x, shape.part(i).y) # return the list of (x, y)-coordinates return coords 

dlib 提取人脸的 68 个特征点之后，是用自身的 dlib.full_object_detection 格式保存它们的坐标信息，每次提取坐标都需要用 (shape.part(i).x, shape.part(i).y)形式

shape_to_np 将 68 个特征点的坐标提取出来后，再用 numpy 保存为坐标点矩阵，方便其使用

标记人脸部位

查看源码：

def visualize_facial_landmarks(image, shape, colors=None, alpha=0.75): # create two copies of the input image -- one for the # overlay and one for the final output image  overlay = image.copy()  output = image.copy() # if the colors list is None, initialize it with a unique # color for each facial landmark region if colors is None:   colors = [(19, 199, 109), (79, 76, 240), (230, 159, 23), (168, 100, 168), (158, 163, 32), (163, 38, 32), (180, 42, 220)] # loop over the facial landmark regions individually for (i, name) in enumerate(FACIAL_LANDMARKS_IDXS.keys()): # grab the (x, y)-coordinates associated with the # face landmark (j, k) = FACIAL_LANDMARKS_IDXS[name]   pts = shape[j:k] # check if are supposed to draw the jawline if name == "jaw": # since the jawline is a non-enclosed facial region, # just draw lines between the (x, y)-coordinates for l in range(1, len(pts)):     ptA = tuple(pts[l - 1])     ptB = tuple(pts[l])     cv2.line(overlay, ptA, ptB, colors[i], 2) # otherwise, compute the convex hull of the facial # landmark coordinates points and display it else:    hull = cv2.convexHull(pts)    cv2.drawContours(overlay, [hull], -1, colors[i], -1) # apply the transparent overlay  cv2.addWeighted(overlay, alpha, output, 1 - alpha, 0, output) # return the output image return output 

68 个特征点提取出来后，已经将人脸的每个部位标记出来，之后就可以每个部位进行标记，例如将每个部位用不同颜色覆盖。而上面代码中的函数就是进行这个操作

2 个必要参数：

• image：输入图像
• shape：特征点坐标矩阵

使用后效果图：

里面使用了 opencv 的 convexHull、drawContours 和 addWeighted 方法，看一下它们的参数和作用：
cv2.convexHull(points,clockwise,returnpoints)

• points：输入的坐标点，通常为1* n * 2 结构，n为所有的坐标点的数目
• clockwise：转动方向，TRUE为顺时针，否则为逆时针
• returnPoints：默认为TRUE，返回凸包上点的坐标，如果设置为FALSE，会返回与凸包点对应的轮廓上的点
  此函数是找寻凸包，不严谨的说是将最外层的点连接起来构成的凸多边形，即把边缘点连接起来

cv2.drawContours(image,contours,contourIdx,color,thickness=None,lineType=None,hierarchy=None,maxLevel=None,offset=None)

• image：输入图像
• contours：轮廓列表
• contourIdx：列表中的哪条轮廓
• color：绘制颜色
• thickness：轮廓线的宽度，如果是 -1 (cv2.FILLED)，则为填充模式
  此函数是将轮廓线条绘制出来，内部空间也可以填充

cv2.addWeighted(image1, alpha,image2,beta,gamma[,dst[,dtype]])

• image1：输入图像1
• alpha：图像1的权重
• image2：输入图像2，与图像1的尺寸和通道数相同
• beta：图像2的权重
• gamma：加到每个总和上的标量，相当于调亮度
• dst：输出
  此函数是将图像进行叠加，两个图像的权重自行选择

经过这 3 个方法后，人脸的每个部位就被标记出来了