虹软人脸识别 - 采用数据库存取人脸特征数据
前几天有个朋友遇到了个问题，他在使用虹软的人脸识别引擎时，想更换一下人脸识别的存储方式，原本demo中使用的是文件的方式进行存储，而他想要通过数据库的方式进行存储。由于他刚接触Android不久，对数据库这块不甚了解，再加之听上去要存特征数据，听上去就很难的样子，可愁坏了他。其实虹软的人脸特征数据就是一个byte[]，存储起来还是相当方便的。我为他写了一个demo，顺便与大家分享一下，希望能帮到有需要的人，本文将分为以下几点讲述。
- 两种数据库存储方式
- 封装数据库操作接口
- ArcFaceDemo接入
一、两种数据库操作方式
方案一：使用原生数据库存储人脸特征数据
1. 建表
首先我们需要建一张表来存储特征数据，但是光存储特征数据还是不够的，不足以满足人脸识别的需要，因此我们还需要人脸姓名、人脸图片等数据。下面我创建了一个User表，以id为主键，并自增长，faceName用TEXT类型存储，把人脸图片与特征都用Blob存储。
注意：对于人脸库中人脸较多的场景，请将注册图存储至本地，数据库中仅保留文件路径，否则会占用很多内存。
public class FaceDatabaseHelper extends SQLiteOpenHelper {
private static final String TAG = "FaceDatabaseHelper";
public FaceDatabaseHelper(@Nullable Context context, @Nullable String name, @Nullable SQLiteDatabase.CursorFactory factory, int version) {
super(context, name, factory, version);
}
@Override
public void onCreate(SQLiteDatabase db) {
//创建Face表 ID 名字 照片 特征
db.execSQL("CREATE TABLE IF NOT EXISTS Face" +
"(id INTEGER PRIMARY KEY AUTOINCREMENT, faceName TEXT, facePic Blob , faceFeature Blob)");
//建库成功后给出提示
Log.i(TAG, "dataBase Create Success");
}
@Override
public void onUpgrade(SQLiteDatabase db, int oldVersion, int newVersion) {
}
}
2. 新增人脸数据
表已经建好了，接下来就是往表中插入数据，需要注意的是，这里的最后一个参数需要传入jpeg格式的数据。
public long addFace(String faceName, byte[] faceFeature, byte[] facePic) {
//存人脸
ContentValues values = new ContentValues();
long index = -1;
//写入表
try {
values.put("faceName", faceName);
values.put("faceFeature", faceFeature);
values.put("facePic", facePic);
index = db.insert("Face", null, values);
} catch (Exception e) {
e.printStackTrace();
}
return index;
}
3. 加载人脸数据
人脸数据已经成功的插入到了表中，接下来我们就需要将表内所有的数据加载到内存。
public ArrayList<FaceEntity> selectAllFaces() {
ArrayList<FaceEntity> dataList = new ArrayList<>();
Cursor cursor = db.query("Face", null, null, null, null, null, null);
while (cursor.moveToNext()) {
FaceEntity data = new FaceEntity();
int id = cursor.getInt(cursor.getColumnIndex("id"));
String faceName = cursor.getString(cursor.getColumnIndex("faceName"));
byte[] facePic = cursor.getBlob(cursor.getColumnIndex("facePic"));
byte[] faceFeature = cursor.getBlob(cursor.getColumnIndex("faceFeature"));
data.setId(id);
data.setFaceName(faceName);
data.setFacePic(facePic);
data.setFaceFeature(faceFeature);
dataList.add(data);
}
cursor.close();
return dataList;
}
4. 清空人脸数据
支持删除所有人脸或单张人脸。
public void deleteAllFace() {
db.execSQL("delete from Face");
}
public void deleteFaceById(int id) {
db.delete("Face", "id=?", new String[]{"" + id});
}
方案二：使用Room框架存储人脸特征数据
上面使用的是原生数据库操作接口，这边还提供一种使用Android官方推荐的Room框架操作数据库的示例。
1. 添加依赖
首先我们要在app下的build.gradle文件内添加room的依赖。
implementation 'android.arch.persistence.room:runtime:1.1.1'
annotationProcessor 'android.arch.persistence.room:compiler:1.1.1'
2. 建表
Room的数据库操作相比于原生的方式来说简单的多，只需要对实体类进行注解即可。
注意：对于人脸库中人脸较多的场景，请将注册图存储至本地，数据库中仅保留文件路径，否则会占用很多内存。
// entity声明定义，并且指定了映射数据表明
@Entity(tableName = "Face")
public class FaceEntity {
// 设置主键，并且定义自增增
@PrimaryKey(autoGenerate = true)
public int id;
// 字段映射具体的数据表字段名
@ColumnInfo(name = "faceName")
private String faceName;
@ColumnInfo(name = "faceFeature")
private byte[] faceFeature;
@ColumnInfo(name = "facePic")
private byte[] facePic;
// getter/setter就不贴了
...
}
3. 建库
每次打开数据库文件都会产生比较大的开销，所以将FaceRoomDatabase设计成单例。
//注解指定了database的表映射实体数据以及版本等信息
@Database(entities = {FaceEntity.class}, version = 1)
public abstract class FaceRoomDatabase extends RoomDatabase {
//RoomDatabase提供直接访问底层数据库实现，我们通过定义抽象方法返回具体Dao
//然后进行数据库增删该查的实现。
public abstract FaceDao userDao();
private static volatile FaceRoomDatabase instance;
public static FaceRoomDatabase getInstance(Context context) {
if (instance == null) {
synchronized (FaceRoomDatabase.class) {
if (instance == null) {
instance = Room.databaseBuilder(context.getApplicationContext(), FaceRoomDatabase.class, "RoomFaceDB.db")
.build();
}
}
}
return instance;
}
}
4. 数据库操作
基于Room框架的数据库操作较为简单，就不一一例举，统一放在一起进行说明。
@Dao
public interface FaceDao {
//返回Long数据表示，插入条目的主键值（uid）
@Insert
Long addFace(FaceEntity user);
//获取所有人脸数据
@Query("SELECT * FROM Face")
List<FaceEntity> getAllFace();
//删除所有人脸数据
@Query("DELETE FROM Face")
int deleteAll();
//删除指定人脸
@Delete
int delete(FaceEntity user);
}
二、封装数据库操作接口
2.1 接口声明
为了代码切换更便捷，能够在代码中快速切换使用Room或直接使用SQLite进行数据库操作：
// ROOM方式
private static FaceDatabaseAccessObject dao = new RoomFaceDao();
// 直接使用SQLite方式
// private static FaceDatabaseAccessObject dao = new SQLiteFaceDao();
我们可以预先定义一套接口FaceDatabaseAccessObject：
public interface FaceDatabaseAccessObject {
/**
* 初始化
*/
void init();
/**
* 插入一个人脸
*
* @param userEntity 人脸信息
* @return index
*/
long insert(FaceEntity userEntity);
/**
* 获取所有人脸
*
* @return 所有人脸
*/
List<FaceEntity> getAll();
/**
* 清空所有人脸
*/
void clearAll();
/**
* 回收资源操作
*/
void release();
}
2.2 SQLite实现FaceDatabaseAccessObject接口
public class SQLiteFaceDao implements FaceDatabaseAccessObject {
private static FaceDatabaseManager faceDataBaseManager;
@Override
public void init() {
faceDataBaseManager = new FaceDatabaseManager(ArcFaceApp.getApplication());
}
@Override
public long insert(FaceEntity userEntity) {
if (faceDataBaseManager == null) {
return -1;
}
return faceDataBaseManager.addFace(userEntity.getFaceName(), userEntity.getFaceFeature(), userEntity.getFacePic());
}
@Override
public List<FaceEntity> getAll() {
if (faceDataBaseManager == null) {
return null;
}
return faceDataBaseManager.selectAllFaces();
}
@Override
public void clearAll() {
if (faceDataBaseManager == null) {
return;
}
faceDataBaseManager.deleteAllFace();
}
@Override
public void release() {
if (faceDataBaseManager == null) {
return;
}
faceDataBaseManager.release();
}
}
2.3 ROOM实现FaceDatabaseAccessObject接口
public class RoomFaceDao implements FaceDatabaseAccessObject {
private static FaceDao dao;
private FaceRoomDatabase appDatabase;
@Override
public void init() {
appDatabase = FaceRoomDatabase.getInstance(ArcFaceApp.getApplication());
dao = appDatabase.userDao();
}
@Override
public long insert(FaceEntity userEntity) {
return dao == null ? -1 : dao.addFace(userEntity);
}
@Override
public List<FaceEntity> getAll() {
return dao == null ? null : dao.getAllFace();
}
@Override
public void clearAll() {
if (dao == null) {
return;
}
dao.deleteAll();
}
@Override
public void release() {
if (appDatabase != null) {
appDatabase.close();
}
}
}
三、ArcFaceDemo接入
数据库操作已经实现，接下来就要实际运用到项目中，首先是人脸注册，我们直接修改Demo中FaceServer类的register方法。
3.1 注册
// 创建一个头像的Bitmap，存放旋转结果图
Bitmap headBmp = getHeadImage(bgr24, width, height, faceInfoList.get(0).getOrient(), cropRect, ArcSoftImageFormat.BGR24);
// 录入人脸
ByteArrayOutputStream baos = new ByteArrayOutputStream();
headBmp.compress(Bitmap.CompressFormat.JPEG, 50, baos);
byte[] facePic = baos.toByteArray();
FaceEntity user = new FaceEntity();
user.setFaceName(userName);
user.setFaceFeature(faceFeature.getFeatureData());
user.setFacePic(facePic);
dao.insert(user);
3.2 查询
上面我们已经完成了注册，接下来就是查询，由于Room不推荐在主线程中进行UI操作，我们新创建一个线程，将原本Demo中的initFaceList替换为initFaceListByDataBase。
private void initFaceListByDataBase() {
new Thread(new Runnable() {
@Override
public void run() {
faceRegisterInfoList = new ArrayList<>();
List<FaceEntity> userTableList = dao.getAll();
for (FaceEntity userInfo : userTableList) {
faceRegisterInfoList.add(new FaceRegisterInfo(userInfo.getFaceFeature(), userInfo.getFaceName(), userInfo.getFacePic()));
}
}
}).start();
}
3.3 删除
删除人脸同样属于IO操作，推荐放在子线程中处理。
public int clearAllFaces(Context context) {
synchronized (this) {
if (context == null) {
return 0;
}
int number = 0;
if (faceRegisterInfoList != null) {
number = faceRegisterInfoList.size();
faceRegisterInfoList.clear();
}
new Thread(new Runnable() {
@Override
public void run() {
dao.clearAll();
}
}).start();
return number;
}
}
3.4 显示
由于原本图片的加载模式是加载本地文件，而现在图片是直接存储在数据库的，因此需要对CompareResult进行修改，同时要对FaceSearchResultAdapter的图片加载做一些修改。
public class CompareResult {
private String userName;
private float similar;
private int trackId;
private byte[] facePic;
public CompareResult(String userName, float similar) {
this.userName = userName;
this.similar = similar;
}
public CompareResult(String userName, float similar, byte[] facePic) {
this.userName = userName;
this.similar = similar;
this.facePic = facePic;
}
}
public CompareResult getTopOfFaceLib(FaceFeature faceFeature) {
//......
//.....
if (maxSimilarIndex != -1) {
//return new CompareResult(faceRegisterInfoList.get(maxSimilarIndex).getName(), maxSimilar);
return new CompareResult(faceRegisterInfoList.get(maxSimilarIndex).getName(), maxSimilar, faceRegisterInfoList.get(maxSimilarIndex).getFacePic());
}
return null;
}
FaceSearchResultAdapter内修改注册照显示的图像加载。
@Override
public void onBindViewHolder(@NonNull CompareResultHolder holder, int position) {
if (compareResultList == null) {
return;
}
// File imgFile = new File(FaceServer.ROOT_PATH + File.separator + FaceServer.SAVE_IMG_DIR + File.separator + compareResultList.get(position).getUserName() + FaceServer.IMG_SUFFIX);
// Glide.with(holder.imageView)
// .load(imgFile)
// .into(holder.imageView);
Glide.with(holder.imageView)
.load(compareResultList.get(position).getFacePic())
.into(holder.imageView);
holder.textView.setText(compareResultList.get(position).getUserName());
}
3.5 效果
至此为止我们已经搭建好数据库，并且完成了识别界面相关的代码修改，下面是实际运行的效果。
四、附录
本文通过两种数据库操作方式介绍了人脸特征数据的存取，供大家参考，若有不对的地方，请大家指正！
如果对您有所帮助，可以为我的demo点个star！
提示：本文示例代码在使用前需先修改com.arcsoft.arcfacedemo.common.Constants.java中的APP_ID与SDK_KEY。
