Dịch vụ Tài chính · CASE STUDY

Thiết kế nền tảng GenAI và RAG bảo mật cho dịch vụ tài chính

KHÁCH HÀNG

HD Securities (HDS)

NGÀNH

Dịch vụ Tài chính

CÔNG NGHỆ

Amazon Bedrock · Amazon Bedrock Knowledge Bases · Amazon Titan Embeddings V2 · +9

NĂNG LỰC LIÊN QUAN

AI & Tự động hóa · Cloud & Hạ tầng · Dịch vụ Tài chính

THÁCH THỨC

Thách thức.

HD Securities đang vận hành các năng lực số và AI cho tương tác khách hàng, truy cập tri thức tài chính, trải nghiệm liên quan đến đầu tư và workflow vận hành nội bộ. Workload production kết hợp AI tạo sinh với nguồn tri thức tài chính được kiểm soát, đồng thời duy trì xử lý dữ liệu an toàn, quyền truy cập hạ tầng được bảo vệ, thiết kế ứng dụng có khả năng mở rộng và các kiểm soát vận hành rõ ràng. Câu hỏi kỹ thuật không chỉ là liệu foundation model có thể trả lời câu hỏi tài chính hay không. Kiến trúc production cũng cần lớp retrieval để grounding phản hồi trong nội dung được phê duyệt, các kiểm soát bảo mật bảo vệ đường đi ứng dụng và dữ liệu, monitoring cho khả năng quan sát vận hành, cùng quy trình validation về khả năng mở rộng và mức độ sẵn sàng vận hành.

GIẢI PHÁP

Giải pháp.

TitanBases triển khai kiến trúc GenAI và Retrieval-Augmented Generation trên AWS, kết nối hạ tầng ứng dụng được bảo vệ với các dịch vụ managed knowledge-retrieval và foundation model. Tài liệu lưu trong Amazon S3 được xử lý qua Amazon Bedrock Knowledge Bases, embedding bằng Amazon Titan Embeddings V2 và indexing trong Amazon OpenSearch Serverless để semantic retrieval. Khi người dùng gửi query, lớp retrieval xác định context tài liệu phù hợp và augment prompt trước khi gửi đến foundation model Anthropic Claude được chọn để tạo phản hồi. Tầng ứng dụng và dữ liệu hoạt động trong mạng AWS được bảo vệ, với dịch vụ dữ liệu ứng dụng dựa trên PostgreSQL và hạ tầng được định nghĩa bằng Terraform để triển khai lặp lại. Kiến trúc production bao gồm IAM theo nguyên tắc đặc quyền tối thiểu, mã hóa bằng AWS KMS, AWS WAF, private service access, AWS Secrets Manager, Amazon CloudWatch, Amazon GuardDuty, AWS Security Hub và Amazon Bedrock Guardrails. Integration test và load test là một phần của phương pháp triển khai/validation, nhưng tài liệu được cung cấp không có số đo benchmark cuối cùng; không được tự tạo latency, accuracy, QPS hay observed uptime.

KIỂM CHỨNG POC

01

Triển khai kiến trúc GenAI và RAG bảo mật cho các workflow tri thức tài chính hướng khách hàng và nội bộ.

02

Thiết lập đường retrieval đầu-cuối từ tài liệu được kiểm soát qua embedding và vector search đến generation bằng foundation model.

03

Triển khai hạ tầng ứng dụng và dữ liệu được bảo vệ với mạng AWS private, pattern Terraform có thể lặp lại và thiết kế service multi-AZ.

04

Phạm vi triển khai bao gồm kế hoạch validation mức độ sẵn sàng production, bao phủ integration testing, load testing và theo dõi vector-query cho khả năng mở rộng và vận hành.

05

Áp dụng các kiểm soát bảo mật, monitoring và an toàn AI trên IAM, KMS, WAF, GuardDuty, Security Hub, Secrets Manager, CloudWatch và Bedrock Guardrails.

TECHNOLOGIES

Amazon BedrockAmazon Bedrock Knowledge BasesAmazon Titan Embeddings V2Amazon OpenSearch ServerlessAmazon S3Amazon EKSAmazon RDS for PostgreSQLAWS WAFAWS KMSAmazon CloudWatchAmazon Bedrock GuardrailsTerraform

YOUR NEXT WORKLOAD

Let’s build what’s next.

Contact us