双目人脸特征匹配在RK3588上轻量化部署项目

1.项目介绍


本项目构建了一个基于YOLO11的人脸检测与ORB特征点匹配系统，通过集成双目摄像头实现实时立体视觉分析。系统首先利用优化的YOLO11模型进行高精度人脸检测，该模型在YOLO11n架构基础上引入SE注意力机制和P2检测层，显著提升了对小尺度人脸的检测能力。检测到的人脸区域随后送入ORB特征提取模块，生成具有旋转和尺度不变性的关键点描述符。
为实现边缘设备部署，将训练完成的PyTorch模型转换为ONNX格式，并进一步使用RKNN Toolkit2工具链转换为RKNN模型。转换过程采用量化技术优化模型体积和推理速度，同时保持检测精度。最终系统部署在RK3588开发板上，支持双目摄像头实时视频流输入，并在板端完成人脸检测与特征点匹配的全流程推理。



2.方案平台
本项目基于瑞芯微（Rockchip）RK3588平台，使用两个IMX415摄像头作为视频输入。

摄像头连线如图：

通过HDMI接口与外部显示屏连接，用于实时显示查看：

3.方案演示
双视频流输入推理效果：



项目获取：

通过网盘分享的文件：人脸特征点匹配在RK3588上轻量化部署教程.rar
链接: https://pan.baidu.com/s/1IwHXc4ss-MhaiShPuceJIQ?pwd=uh3i 提取码: uh3i