JavaCV的摄像头实战之八:人脸检测
阅读原文时间:2023年08月25日阅读:5

欢迎访问我的GitHub

这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos

本篇概览

  • 本文是《JavaCV的摄像头实战》的第八篇,前面的操作夯实了的帧和流处理的基本功,接下来开始实现一些常见的CV能力,就从本篇的人检测别开始吧
  • OpenCV中常用的人脸检测是基于Haar特征的级联分类器,本篇借助JavaCV来使用该分类器实现人脸检测

简单的设计

  • 编码之前先把要做的事情梳理一下:
  1. 检测功能可能用在多个场景:窗口预览、推流、存文件都可能用到,所以检测功能的代码最好独立出来,不要和预览、推流这些代码写在一起,如下图,检测的接口DetectService会作为每个应用的成员变量存在:

  2. 检测服务不仅是人脸检测,今后还有人体检测、物体检测等等,所以设计一个检测服务接口DetectService,人脸检测、人体检测、物体检测这些类都是这个接口的实现,如下图所示,对于预览、推流、存文件这个应用的代码,直接使用接口的API即可,具体检测的实现类可以在初始化的时候确定

  3. 聪明的您应该会觉得欣宸的水平过于原始:上面的设计不就是Spring的依赖注入吗?为啥不用呢?其实这个系列的重点是JavaCV,所以保持代码简单吧,不引入Spring框架了

  • 总的来说,今天的要写的代码如下图所示,绿色块的AbstractCameraApplication类已在《JavaCV的摄像头实战之一:基础》一文中完成,其余三个全部在本篇编写,包括两个java类、一个接口:

  • 分析得差不多了,开始编码,先写接口DetectService

检测服务接口DetectService

  • 新增接口DetectService.java,里面有三个方法定义:

    /**
     * 初始化操作,例如模型下载
     * @throws Exception
     */
    void init() throws Exception;
    
    /**
     * 得到原始帧,做检测,添加框选
     * @param frame
     * @return
     */
    Frame convert(Frame frame);
    
    /**
     * 释放资源
     */
    void releaseOutputResource();
  • 另外还有两个静态方法,也放在DetectService.java中,第一个是buildGrayImage,该方法会根据入参Mat的尺寸新建一个Mat对象,新建的对象用于保存灰度图片,因为检测时用的是灰度图片而不是原图:

    /**
     * 根据传入的MAT构造相同尺寸的MAT,存放灰度图片用于以后的检测
     * @param src 原始图片的MAT对象
     * @return 相同尺寸的灰度图片的MAT对象
     */
    static Mat buildGrayImage(Mat src) {
        return new Mat(src.rows(), src.cols(), CV_8UC1);
    }
  • 第二个方法是第一个是detect,该方法非常重要:将原图转为灰度图片,再用指定的分类器检测,将检测结果在原图上标注出来,标注后的Mat转为Frame对象返回:

    /**
     * 检测图片,将检测结果用矩形标注在原始图片上
     * @param classifier 分类器
     * @param converter Frame和mat的转换器
     * @param rawFrame 原始视频帧
     * @param grabbedImage 原始视频帧对应的mat
     * @param grayImage 存放灰度图片的mat
     * @return 标注了检测结果的视频帧
     */
    static Frame detect(CascadeClassifier classifier,
                        OpenCVFrameConverter.ToMat converter,
                        Frame rawFrame,
                        Mat grabbedImage,
                        Mat grayImage) {
    // 当前图片转为灰度图片
    cvtColor(grabbedImage, grayImage, CV_BGR2GRAY);
    
    // 存放检测结果的容器
    RectVector objects = new RectVector();
    
    // 开始检测
    classifier.detectMultiScale(grayImage, objects);
    
    // 检测结果总数
    long total = objects.size();
    
    // 如果没有检测到结果,就用原始帧返回
    if (total<1) {
        return rawFrame;
    }
    
    // 如果有检测结果,就根据结果的数据构造矩形框,画在原图上
    for (long i = 0; i < total; i++) {
        Rect r = objects.get(i);
        int x = r.x(), y = r.y(), w = r.width(), h = r.height();
        rectangle(grabbedImage, new Point(x, y), new Point(x + w, y + h), Scalar.RED, 1, CV_AA, 0);
    }
    
    // 释放检测结果资源
    objects.close();
    
    // 将标注过的图片转为帧,返回
    return converter.convert(grabbedImage);
    }
  • 以上就是接口DetectService.java的全部:三个方法定义,两个静态方法,接下来就是接口的实现类了

人脸检测功能的实现类

  • 前面的DetectService接口仅定义了三个方法:初始化(init)、检测(convert)、资源释放(releaseOutputResource),现在开发这个接口的实现类HaarCascadeDetectService.java,实现真正的人脸检测功能

  • 完整代码如下,核心是init方法中实例化的分类器classifier,以及负责处理每一帧的convert方法,这里面会中调用刚才写的静态方法DetectService.detect,把原始帧转换成标注了检测结果的帧:

    package com.bolingcavalry.grabpush.extend;

    import lombok.extern.slf4j.Slf4j;
    import org.bytedeco.javacpp.Loader;
    import org.bytedeco.javacv.Frame;
    import org.bytedeco.javacv.OpenCVFrameConverter;
    import org.bytedeco.opencv.opencv_core.Mat;
    import org.bytedeco.opencv.opencv_objdetect.CascadeClassifier;
    import java.io.File;
    import java.net.URL;

    /**

    • @author willzhao

    • @version 1.0

    • @description Haar检测的实现类

    • @date 2021/12/3 8:09
      */
      @Slf4j
      public class HaarCascadeDetectService implements DetectService {

      /**

      • 每一帧原始图片的对象
        */
        private Mat grabbedImage = null;

      /**

      • 原始图片对应的灰度图片对象
        */
        private Mat grayImage = null;

      /**

      • 分类器
        */
        private CascadeClassifier classifier;

      /**

      • 转换器
        */
        private OpenCVFrameConverter.ToMat converter = new OpenCVFrameConverter.ToMat();

      /**

      • 模型文件的下载地址
        */
        private String modelFileUrl;

      /**

      • 构造方法,在此指定模型文件的下载地址
      • @param modelFileUrl
        */
        public HaarCascadeDetectService(String modelFileUrl) {
        this.modelFileUrl = modelFileUrl;
        }

      /**

      • 音频采样对象的初始化

      • @throws Exception
        */
        @Override
        public void init() throws Exception {
        // 下载模型文件
        URL url = new URL(modelFileUrl);
        File file = Loader.cacheResource(url);

        // 模型文件下载后的完整地址
        String classifierName = file.getAbsolutePath();

        // 根据模型文件实例化分类器
        classifier = new CascadeClassifier(classifierName);

        if (classifier == null) {
        log.error("Error loading classifier file [{}]", classifierName);
        System.exit(1);
        }
        }

      @Override
      public Frame convert(Frame frame) {
      // 由帧转为Mat
      grabbedImage = converter.convert(frame);

      // 灰度Mat,用于检测
      if (null==grayImage) {
          grayImage = DetectService.buildGrayImage(grabbedImage);
      }
      
      // 进行人脸检测,根据结果做处理得到预览窗口显示的帧
      return DetectService.detect(classifier, converter, frame, grabbedImage, grayImage);

      }

      /**

      • 程序结束前,释放人脸检测的资源
        */
        @Override
        public void releaseOutputResource() {
        if (null!=grabbedImage) {
        grabbedImage.release();
        }

        if (null!=grayImage) {
        grayImage.release();
        }

        if (null==classifier) {
        classifier.close();
        }
        }
        }

主程序PreviewCameraWithDetect

  • 《JavaCV的摄像头实战之一:基础》一文创建的simple-grab-push工程中已经准备好了父类AbstractCameraApplication,所以本篇继续使用该工程,创建子类实现那些抽象方法即可

  • 编码前先回顾父类的基础结构,如下图,粗体是父类定义的各个方法,红色块都是需要子类来实现抽象方法,所以接下来,咱们以本地窗口预览为目标实现这三个红色方法即可:

  • 新建文件PreviewCameraWithDetect.java,这是AbstractCameraApplication的子类,其代码很简单,接下来按上图顺序依次说明

  • 先定义CanvasFrame类型的成员变量previewCanvas,这是展示视频帧的本地窗口:

    protected CanvasFrame previewCanvas

  • 还要定义DetectService类型的成员变量,用于稍后的检测操作,并在构造方法中对改成员变量赋值:

    /**
     * 检测工具接口
     */
    private DetectService detectService;
    
    /**
     * 不同的检测工具,可以通过构造方法传入
     * @param detectService
     */
    public PreviewCameraWithDetect(DetectService detectService) {
        this.detectService = detectService;
    }
  • 然后是初始化操作,除了previewCanvas的实例化和参数设置,还要调用检测服务的初始化方法:

    @Override
    protected void initOutput() throws Exception {
        previewCanvas = new CanvasFrame("摄像头预览", CanvasFrame.getDefaultGamma() / grabber.getGamma());
        previewCanvas.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
        previewCanvas.setAlwaysOnTop(true);
    // 检测服务的初始化操作
    detectService.init();
    }
  • 接下来是output方法,定义了拿到每一帧视频数据后做什么事情,这里会交给检测服务去处理,将处理结果在本地窗口显示:

    @Override
    protected void output(Frame frame) {
        // 原始帧先交给检测服务处理,这个处理包括物体检测,再将检测结果标注在原始图片上,
        // 然后转换为帧返回
        Frame detectedFrame = detectService.convert(frame);
        // 预览窗口上显示的帧是标注了检测结果的帧
        previewCanvas.showImage(detectedFrame);
    }
  • 由于检测服务也会耗时,所以这里调整每帧输出后的等待时间,以免预览时卡顿,请依照自己电脑CPU性能调整,我这里改为原有时长的八分之一:

    @Override
    protected int getInterval() {
        return super.getInterval()/8;
    }
  • 最后是处理视频的循环结束后,程序退出前要做的事情,即关闭本地窗口,另外还要调用检测服务的releaseOutputResource来释放其相关资源:

    @Override
    protected void releaseOutputResource() {
        if (null!= previewCanvas) {
            previewCanvas.dispose();
        }
    // 检测工具也要释放资源
    detectService.releaseOutputResource();
    }
  • 至此,用本地窗口预览摄像头的功能已开发完成,再写上main方法,注意参数100表示预览持续时间是100秒,modelFileUrl是模型文件在GitHub上的地址(注释掉的那个是人体的,您也可以试试):

    public static void main(String[] args) {
        String modelPath = "https://raw.github.com/opencv/opencv/master/data/haarcascades/haarcascade_frontalface_alt.xml";

    // String modelPath = "https://raw.github.com/opencv/opencv/master/data/haarcascades/haarcascade_upperbody.xml";
    new PreviewCameraWithDetect(new HaarCascadeDetectService(modelPath)).action(1000);
    }

  • 运行main方法即可启动程序,如下图,预览窗口中如果有人像,人脸上就会出现红框(为了不侵犯群众演员的肖像权,手动对面部做了马赛克处理):

  • 至此,本地窗口预览集成人脸检测的功能就完成了,得益于JavaCV的强大,整个过程是如此的轻松愉快,接下来请继续关注欣宸原创,《JavaCV的摄像头实战》系列还会呈现更多丰富的应用;

  • 本文涉及的所有代码都能在接下来的介绍的GitHub仓库中找到

源码下载

名称

链接

备注

项目主页

https://github.com/zq2599/blog_demos

该项目在GitHub上的主页

git仓库地址(https)

https://github.com/zq2599/blog_demos.git

该项目源码的仓库地址,https协议

git仓库地址(ssh)

git@github.com:zq2599/blog_demos.git

该项目源码的仓库地址,ssh协议

  • 这个git项目中有多个文件夹,本篇的源码在javacv-tutorials文件夹下,如下图红框所示:

  • javacv-tutorials里面有多个子工程,《JavaCV的摄像头实战》系列的代码在simple-grab-push工程下:

欢迎关注博客园:程序员欣宸

学习路上,你不孤单,欣宸原创一路相伴…

手机扫一扫

移动阅读更方便

阿里云服务器
腾讯云服务器
七牛云服务器