这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos
本文是《JavaCV人脸识别三部曲》的第一篇,在《JavaCV的摄像头实战之八:人脸检测》一文中,实现了检测人脸并用方框标注出来,但仅框出人脸作用不大,最好是识别出此人的身份,这样就能做很多事情了,例如签到、告警等,这就是接下来咱们要挑战的人脸识别
人脸识别涉及到两个步骤:训练和识别,接下来简单说明解释一下
先看什么是训练,如下图,用两位天王的六张照片来训练,一共两个类别,训练完成后得到模型文件faceRecognizer.xml:
训练成功后, 我们拿一张新的照片给模型去识别,得到的结果是训练时的类别,如此识别完成,我们已确定了新照片的身份:
下面用流程图将训练和识别说得更详细一些:
《JavaCV人脸识别三部曲》一共三篇文章,内容如下:
名称
链接
备注
项目主页
https://github.com/zq2599/blog_demos
该项目在GitHub上的主页
git仓库地址(https)
https://github.com/zq2599/blog_demos.git
该项目源码的仓库地址,https协议
git仓库地址(ssh)
git@github.com:zq2599/blog_demos.git
该项目源码的仓库地址,ssh协议
这个git项目中有多个文件夹,本篇的源码在javacv-tutorials文件夹下,如下图红框所示:
javacv-tutorials里面有多个子工程,《JavaCV的摄像头实战》系列的代码在simple-grab-push工程下:
先定义一个检测有关的接口DetectService.java,如下,主要是定义了三个方法init、convert、releaseOutputResource,其中init用于初始化检测服务,convert负责处理单个帧(本篇就是检测出人脸、把人脸照片保存在硬盘),releaseOutputResource在结束的时候被执行,用于释放资源,另外还有个静态方法buildGrayImage,很简单,生成灰度图片对应的Mat对象:
package com.bolingcavalry.grabpush.extend;
import com.bolingcavalry.grabpush.Constants;
import org.bytedeco.javacv.Frame;
import org.bytedeco.javacv.OpenCVFrameConverter;
import org.bytedeco.opencv.opencv_core.;
import org.bytedeco.opencv.opencv_objdetect.CascadeClassifier;
import static org.bytedeco.opencv.global.opencv_core.CV_8UC1;
import static org.bytedeco.opencv.global.opencv_imgcodecs.imwrite;
import static org.bytedeco.opencv.global.opencv_imgproc.;
/**
@author willzhao
@version 1.0
@description 检测工具的通用接口
@date 2021/12/5 10:57
*/
public interface DetectService {
/**
/**
/**
/**
然后就是DetectService的实现类DetectAndSaveService.java,完整代码如下,有几处要注意的地方稍后提到:
package com.bolingcavalry.grabpush.extend;
import com.bolingcavalry.grabpush.Constants;
import lombok.extern.slf4j.Slf4j;
import org.bytedeco.javacpp.Loader;
import org.bytedeco.javacv.Frame;
import org.bytedeco.javacv.OpenCVFrameConverter;
import org.bytedeco.opencv.opencv_core.;
import org.bytedeco.opencv.opencv_objdetect.CascadeClassifier;
import java.io.File;
import java.net.URL;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.concurrent.atomic.AtomicInteger;
import static org.bytedeco.opencv.global.opencv_imgcodecs.imwrite;
import static org.bytedeco.opencv.global.opencv_imgproc.;
/**
@author willzhao
@version 1.0
@description 检测人脸并保存到硬盘的服务
@date 2021/12/3 8:09
*/
@Slf4j
public class DetectAndSaveService implements DetectService {
/**
/**
/**
/**
/**
/**
/**
/**
/**
构造方法,在此指定模型文件的下载地址
@param modelFileUrl 人脸检测模型地址
@param basePath 检测出的人脸小图在硬盘上的存放地址
*/
public DetectAndSaveService(String modelFileUrl, String basePath) {
this.modelFileUrl = modelFileUrl;
// 图片保存在硬盘的位置,注意文件名的固定前缀是当前的年月日时分秒
this.basePath = basePath
+ new SimpleDateFormat("yyyyMMddHHmmss").format(new Date())
+ "-";
}
/**
音频采样对象的初始化
@throws Exception
*/
@Override
public void init() throws Exception {
// 下载模型文件
URL url = new URL(modelFileUrl);
File file = Loader.cacheResource(url);
// 模型文件下载后的完整地址
String classifierName = file.getAbsolutePath();
// 根据模型文件实例化分类器
classifier = new CascadeClassifier(classifierName);
if (classifier == null) {
log.error("Error loading classifier file [{}]", classifierName);
System.exit(1);
}
}
@Override
public Frame convert(Frame frame) {
// 由帧转为Mat
grabbedImage = converter.convert(frame);
// 灰度Mat,用于检测
if (null==grayImage) {
grayImage = DetectService.buildGrayImage(grabbedImage);
}
String filePath = basePath + num.incrementAndGet();
// 进行人脸识别,根据结果做处理得到预览窗口显示的帧
return detectAndSave(classifier, converter, frame, grabbedImage, grayImage, filePath , size);
}
/**
程序结束前,释放人脸识别的资源
*/
@Override
public void releaseOutputResource() {
if (null!=grabbedImage) {
grabbedImage.release();
}
if (null!=grayImage) {
grayImage.release();
}
if (null==classifier) {
classifier.close();
}
}
/**
*
@param classifier 分类器
@param converter 转换工具
@param rawFrame 原始帧
@param grabbedImage 原始图片的Mat对象
@param grayImage 原始图片对应的灰度图片的Mat对象
@param basePath 图片的基本路径
@param size 训练时要求的图片大小
@return
*/
static Frame detectAndSave(CascadeClassifier classifier,
OpenCVFrameConverter.ToMat converter,
Frame rawFrame,
Mat grabbedImage,
Mat grayImage,
String basePath,
Size size) {
// 当前图片转为灰度图片
cvtColor(grabbedImage, grayImage, CV_BGR2GRAY);
// 存放检测结果的容器
RectVector objects = new RectVector();
// 开始检测
classifier.detectMultiScale(grayImage, objects);
// 检测结果总数
long total = objects.size();
// 如果没有检测到结果就提前返回
if (total<1) {
return rawFrame;
}
// 假设现在是一个人对着摄像头,因为此时检测的结果如果大于1,显然是检测有问题
if (total>1) {
return rawFrame;
}
Mat faceMat;
// 如果有检测结果,就根据结果的数据构造矩形框,画在原图上
// 前面的判断确保了此时只有一个人脸
Rect r = objects.get(0);
// 从完整的灰度图中取得一个矩形小图的Mat对象
faceMat = new Mat(grayImage, r);
// 训练时用的图片尺寸是固定的,因此这里要调整大小
resize(faceMat, faceMat, size);
// 图片的保存位置
String imagePath = basePath + "." + Constants.IMG_TYPE;
// 保存图片到硬盘
imwrite(imagePath, faceMat);
// 人脸的位置信息
int x = r.x(), y = r.y(), w = r.width(), h = r.height();
// 在人脸上画矩形
rectangle(grabbedImage, new Point(x, y), new Point(x + w, y + h), Scalar.RED, 1, CV_AA, 0);
// 释放检测结果资源
objects.close();
// 将标注过的图片转为帧,返回
return converter.convert(grabbedImage);
}
}
上述代码有几处要注意:
《JavaCV的摄像头实战之一:基础》创建的simple-grab-push工程中已经准备好了父类AbstractCameraApplication,所以本篇继续使用该工程,创建子类实现那些抽象方法即可
编码前先回顾父类的基础结构,如下图,粗体是父类定义的各个方法,红色块都是需要子类来实现抽象方法,所以接下来,咱们以本地窗口预览为目标实现这三个红色方法即可:
新建文件PreviewCameraWithDetectAndSave.java,这是AbstractCameraApplication的子类,其代码很简单,接下来按上图顺序依次说明
先定义CanvasFrame类型的成员变量previewCanvas,这是展示视频帧的本地窗口:
protected CanvasFrame previewCanvas
把前面创建的DetectService作为成员变量,后面检测的时候会用到:
/**
* 检测工具接口
*/
private DetectService detectService;
PreviewCameraWithDetectAndSave的构造方法,接受DetectService的实例:
/**
* 不同的检测工具,可以通过构造方法传入
* @param detectService
*/
public PreviewCameraWithDetectAndSave(DetectService detectService) {
this.detectService = detectService;
}
然后是初始化操作,可见是previewCanvas的实例化和参数设置:
@Override
protected void initOutput() throws Exception {
previewCanvas = new CanvasFrame("摄像头预览,检测人脸并保存在硬盘", CanvasFrame.getDefaultGamma() / grabber.getGamma());
previewCanvas.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
previewCanvas.setAlwaysOnTop(true);// 检测服务的初始化操作
detectService.init();
}
接下来是output方法,定义了拿到每一帧视频数据后做什么事情,这里调用了detectService.convert检测人脸并保存图片,然后在本地窗口显示:
@Override
protected void output(Frame frame) {
// 原始帧先交给检测服务处理,这个处理包括物体检测,再将检测结果标注在原始图片上,
// 然后转换为帧返回
Frame detectedFrame = detectService.convert(frame);
// 预览窗口上显示的帧是标注了检测结果的帧
previewCanvas.showImage(detectedFrame);
}
最后是处理视频的循环结束后,程序退出前要做的事情,先关闭本地窗口,再释放检测服务的资源:
@Override
protected void releaseOutputResource() {
if (null!= previewCanvas) {
previewCanvas.dispose();
}// 检测工具也要释放资源
detectService.releaseOutputResource();
}
由于检测有些耗时,所以两帧之间的间隔时间要低于普通预览:
@Override
protected int getInterval() {
return super.getInterval()/8;
}
至此,功能已开发完成,再写上main方法,在实例化DetectAndSaveService的时候注意入参有两个,第一个是人脸检测模型的下载地址,第二个是人脸照片保存在本地的位置,还有action方法的参数1000表示预览持续时间是1000秒:
public static void main(String[] args) {
String modelFileUrl = "https://raw.github.com/opencv/opencv/master/data/haarcascades/haarcascade_frontalface_alt.xml";
new PreviewCameraWithDetectAndSave(
new DetectAndSaveService(
modelFileUrl,
"E:\\temp\\202112\\18\\001\\man"))
.action(1000);
}
运行main方法,然后请群众演员A登场,看着他一个人对着摄像头,开始……搔首弄姿,各种光线明暗、各种角度、各种表情都用上吧,哎,不忍直视…
由于开启了预览窗口,因此可以看到摄像头拍摄的效果,出现红框的矩形最终都会被保存为图片,请注意调整角度和表情,群众演员A好像很热衷于自拍,玩得不亦乐乎,好吧,让他放飞自我:
检测的图片到了一定数量就可以结束了,我这里保存了259张,如下图:
对以上照片,建议是用肉眼检查一遍所有照片,把不是人脸的全部删除,我发现了十多张不是人脸的照片,例如下面这张把脸上的一部分识别成了人脸,显然是有问题的,这样的照片就删除吧,不要用在训练了:
上述照片全部保存在E:\temp\202112\18\001\man目录下
修改代码,把main方法中存放图片的目录改成E:\temp\202112\18\001\woman,然后再次运行程序,请群众演员B登场,恳求她像前一位群众演员那样一个人对着摄像头,开始……搔首弄姿,各种光线明暗、各种角度、各种表情都用上吧
于是,我们又顺利拿到第二位群众演员的大量人脸图片,记得要肉眼观察每一张照片,把不准确的都删除掉
至此,借助前面编写的程序,我们轻松拿到了两位群众演员的大量人脸照片,其中A的照片保存在E:\temp\202112\18\001\man,B的照片保存在E:\temp\202112\18\001\woman:
至此,本篇的任务已经完成,下一篇会用这些照片进行训练,为最终的识别做好准备;
手机扫一扫
移动阅读更方便
你可能感兴趣的文章