Minh họa quy trình eKYC face deduplication trong nguồn standalone Mcredit đã duyệt.

CÂU CHUYỆN KHÁCH HÀNG · VECTOR SEARCH BENCHMARK

Mcredit: Benchmark MongoDB Atlas Vector Search cho eKYC deduplication.

MongoDB Atlas · Vector Search · eKYC

TỔNG QUAN

Tổng quan dự án.

Mcredit cần đánh giá vector search cho face deduplication 1:N trong eKYC. Model của khách hàng chuyển ảnh khuôn mặt thành vector 1024 chiều để so với kho vector hiện có và phát hiện khả năng trùng lặp.

POC tách database và search resources, dùng workload 10 triệu vector cho latency, throughput, stability và index; workload 1 triệu vector cho recall, dimensionality và quantization.

Kiểm chứng POC

  • Đo HNSW query so với exact nearest-neighbor dưới tham số kiểm thử có kiểm soát.
  • Chạy sustained load và theo dõi latency, errors, memory của search process.
  • So sánh float32 và scalar quantization để định lượng memory saving và retrieval-quality loss.

Ranh giới diễn giải

  • Phần lớn dữ liệu benchmark là synthetic và mô tả POC, không phải production volume của Mcredit.
  • Recall đo độ trung thành HNSW so với exact search, không phải độ chính xác nhận diện khuôn mặt.
  • Full-index rebuild mất 41 phút, vượt estimate 15 phút và vẫn là vấn đề vận hành cần lưu ý.

VỀ MCREDIT

Identity deduplication khiến chất lượng vector search trở thành ranh giới quyết định.

Trong eKYC được đánh giá, embedding model của Mcredit tạo face vector và tìm trong repository để xác định khả năng trùng identity hoặc fraud.

Vì kết quả vector ảnh hưởng trực tiếp tới quyết định deduplication, POC ưu tiên retrieval fidelity, latency ổn định và memory có thể dự đoán.

01

Đối sánh 1:N

Tìm một face vector mới trong kho identity hiện có.

02

Dedicated search tier

Tách HNSW indexing và query khỏi database writes.

03

Technical recall

So approximate results với exact nearest-neighbor ground truth.

04

Sizing evidence

Liên hệ vector format, index size với search-node memory.

TITANBASES ENGAGEMENT · CONTROLLED POC

TitanBases đánh giá MongoDB Atlas Vector Search trong benchmark có kiểm soát và ghi nhận cả tiêu chí đạt lẫn ngoại lệ rebuild time. Embedding model và business accuracy nằm ngoài database POC.

THÁCH THỨC

Latency · Throughput · Stability · Retrieval fidelity

Vector search nhanh chỉ hữu ích khi mức xấp xỉ vẫn phù hợp với quyết định.

Mục tiêu POC kết hợp P95 latency dưới 10 ms với ít nhất 100 requests mỗi giây, stability kéo dài và retrieval fidelity cao ở quy mô vector lớn.

Đội ngũ cũng cần hiểu scalar quantization có giảm memory mà không làm reordering kết quả quá mức hay không, và full index rebuild có phù hợp kỳ vọng vận hành hay không.

RANH GIỚI DỮ LIỆU POC

Dataset chủ yếu là synthetic. Latency, throughput và technical recall là quan sát hợp lệ cho cấu hình test, nhưng không chứng minh production volume hoặc độ chính xác face recognition thực tế.

BENCHMARK · TESTED CONFIGURATION

Approximate search quy mô lớn, được đo đối chiếu với exact retrieval.

Dedicated search resources cho phép đo hành vi query và indexing độc lập với database workload.

1,255QPS tại P95 9,85 ms trong test 10M vectors
20h 16mSoak test với hơn 98 triệu requests
~99%Recall@10 so với exact search trong cấu hình test

Đây là số đo POC benchmark, không phải độ chính xác nhận diện khuôn mặt, production SLA hoặc production volume.

GIẢI PHÁP

Replica set · Dedicated search nodes · HNSW · Float32

Tách database path khỏi vector indexing và retrieval.

Application drivers kết nối MongoDB database nodes. Vector queries chuyển tới dedicated search nodes, nơi HNSW index được giữ và query mà không tạo cùng áp lực CPU, memory lên write path.

Index updates đồng bộ bất đồng bộ qua change streams. POC so HNSW với exact search, thay đổi numCandidates, dimensions và so float32 với scalar quantization trước khi đề xuất production sizing.

KIẾN TRÚC GIẢI PHÁP

Kiến trúc POC · MongoDB Atlas Vector Search

TECHNICAL VIEW CÓ GIỚI HẠN BẰNG CHỨNG · DATABASE VÀ SEARCH TIERS

Tách data và vector-search resources

Kiến trúc POC Mcredit với eKYC embeddings, MongoDB replica set, dedicated HNSW search nodes và asynchronous index updates.
Sơ đồ biên tập từ POC report, loại bỏ dữ liệu khách hàng và thương mại nhưng giữ ranh giới query, indexing đã test.
01 · ỨNG DỤNG

Embedding do khách hàng phát triển và điều phối query 1:N.

02 · DỮ LIỆU

MongoDB replica-set lưu identifiers và image references.

03 · SEARCH

Dedicated HNSW search nodes giữ full index replica trong memory.

04 · VALIDATION

Exact-search comparison, load testing và quantization analysis.

KẾT QUẢ POC · QUALIFIED

Performance và retrieval fidelity đạt; rebuild time vẫn là vấn đề mở.

Benchmark vượt mục tiêu latency và throughput, ổn định trong soak test, đồng thời chỉ ra trade-off quantization và một estimate rebuild không đạt.

QUERY PERFORMANCE

9.85 ms

P95 tại 1.255 QPS trong test 10M vectors

STABILITY

0 errors

Quan sát trong soak run 20h 16m

RETRIEVAL FIDELITY

99.37%

Recall@10 cho 1M float32 vectors, 1024 dimensions

OPEN CONSIDERATION

41 min

Full rebuild 10M index so với estimate 15 phút

Scalar quantization giảm memory khoảng 3,3 lần nhưng Exact Match@10 giảm từ khoảng 95% xuống 41%. Float32 được giữ cho workload nhạy cảm với quyết định này.

CÔNG NGHỆ

MongoDB Atlas components và phương pháp benchmark trong POC.

Production sizing phụ thuộc vector volume thực tế và yêu cầu mỗi search node giữ full index replica trong memory.

DATABASE

MongoDB AtlasReplica setChange streamsMongoDB drivers

VECTOR SEARCH

MongoDB Atlas Vector SearchDedicated search nodesHNSWLucene-based vector index

CẤU HÌNH TEST

float32 vectorsm=32efConstruction=256numCandidates 100 and 200

VALIDATION

Exact nearest neighborRecall@10Soak testingIndex rebuild testing

PRODUCTION READINESS

Sizing từ vector volume thực, sau đó kiểm chứng incremental indexing và business accuracy.

Bước tiếp theo là xác nhận production vector scale, test incremental indexing và đánh giá embedding model bằng ảnh thực được gắn nhãn. Các bước này tách biệt với database POC.

POC EVIDENCE · KHÔNG PHẢI PRODUCTION SLA

Biên soạn bởi Đội ngũ Kỹ thuật TitanBases

Đội ngũ kỹ sư TitanBases chia sẻ hướng dẫn thực tế từ các dự án Cloud, Data và AI, với quy trình rà soát kỹ thuật tập trung vào kiến trúc production, bảo mật và vận hành.

WORKLOAD TIẾP THEO

Xây dựng bước tiếp theo.
Cùng TitanBases.

Trao đổi với đội ngũ kỹ thuật TitanBases →