EN
AI
Nội bộ

Face Tracking Service

Microservice AI cho chấm công bằng khuôn mặt: phát hiện → theo dõi → chống giả mạo → trích vector → xác minh, chạy hoàn toàn trên CPU.

Thiết kế & phát triển

5

Bước pipeline

CPU-only

Phần cứng

2

Bộ model

Vai trò

Dịch vụ AI nội bộ phục vụ chấm công bằng khuôn mặt cho Spark Store (app mobile và kiosk tại cửa hàng). Tách thành microservice riêng để phần suy luận nặng không ảnh hưởng tới API nghiệp vụ.

Pipeline

  1. Phát hiện khuôn mặt — YuNet (bộ chính) hoặc SCRFD
  2. Theo dõi qua các khung hình — ByteTrack
  3. Chống giả mạo (ảnh in, màn hình) — MiniFASNet
  4. Trích đặc trưng — SFace hoặc ArcFace MobileFaceNet
  5. Xác minh 1:1 với khuôn mặt đã đăng ký của nhân viên, hoặc trả vector để Spark Store nhận diện 1:N bằng pgvector

Toàn bộ chạy trên CPU với ONNX Runtime — không cần GPU, phù hợp hạ tầng tự vận hành.

Tích hợp

  • API: xác minh, trích embedding, theo dõi, stream qua WebSocket, kiểm tra chất lượng ảnh khi đăng ký, health check.
  • Logic nhân viên, đăng ký khuôn mặt và chấm công nằm ở Spark Store; embedding lưu trong PostgreSQL (pgvector).
  • Không mở ra Internet: Spark Store gọi sang qua VPN mesh giữa hai cluster. Có metrics Prometheus.

Công nghệ sử dụng

Công nghệDùng để làm gì, dùng như thế nào
Python 3.11 + FastAPI + UvicornCác API: /verify (ảnh hoặc video ngắn), /embed, /enroll/quality, /track, WebSocket /stream/{session} (frame, verify, identify), cùng health và metrics. Cấu hình bằng pydantic-settings. Thiếu API key thì service không khởi động; khoá được so bằng hmac.compare_digest.
ONNX RuntimeChạy mọi model trên CPU, đổi sang CUDA được bằng biến môi trường. Suy luận đẩy sang threadpool để không chặn event loop.
YuNet + SFace (OpenCV Zoo)Bộ model chính: cv2.FaceDetectorYN phát hiện mặt, SFace trích vector. Chọn bộ này vì giấy phép MIT / Apache-2.0 cho phép dùng thương mại.
SCRFD + ArcFace MobileFaceNetBộ InsightFace chạy song song ở chế độ shadow để so kết quả và quay lại khi cần. Vẫn dùng để đo tư thế đầu, vì YuNet không đo được góc ngẩng.
MiniFASNetChống giả mạo (ảnh in, màn hình), kiểm lại định kỳ trong luồng stream.
ByteTrack (tự viết) + SciPyTheo dõi khuôn mặt qua các khung hình: bộ lọc Kalman, ghép theo IoU, thuật toán Hungarian của SciPy.
OpenCV + landmarkKiểm chất lượng ảnh lúc đăng ký: độ nét (Laplacian), căn mặt, góc quay đầu, chớp mắt.
Prometheusprometheus-fastapi-instrumentator cộng metric riêng: số lượt verify, độ trễ từng bước, số kết nối WebSocket, số lần bị chống giả mạo từ chối.
Docker + initContainerImage multi-stage, chạy non-root, không đóng model vào image. initContainer tải model và kiểm sha256 trước khi service chạy.
pytest · ruff · GitHub ActionsTest và lint trước khi build. Image đẩy lên Docker Hub, tag ghi vào repo gitops cho ArgoCD.
Face Tracking Service — Dự án của Vũ Xuân Bình