Bài toán
Các sản phẩm SPARK đều cần gọi model: đội agent của S Store, trợ lý S Pay, trợ lý tài chính S Finance, trợ lý "Hỏi về Bình" trên devbyspark.com. Gọi thẳng từng nhà cung cấp thì mỗi app tự giữ khoá, tự lo giới hạn tần suất, tự đổi model khi một bên lỗi và không ai biết tổng chi phí. MotKey gom tất cả về một điểm — rồi mở điểm đó cho tổ chức bên ngoài.
Giải pháp
- Một API, mọi loại model.
/v1/chat/completions,/v1/messages(Anthropic),/v1/responses, embeddings, ảnh (tạo + sửa), TTS / STT, video, Files, Batches (kể cả/v1/messages/batches), Moderations / Classify. App nói chuẩn OpenAI hay Anthropic chỉ cần đổi base URL và khoá. - Định tuyến nhiều đích. Mỗi model là một route có danh sách đích. Pool khoá upstream xếp ưu tiên hoặc xoay vòng; khoá Anthropic chạm trần chi tự nghỉ tới mốc "regain access" rồi chuyển khoá khác; 5xx / quá giờ / 404 deployment thì sang đích kế, cuối cùng là 9Router tự host. Tổ chức khách có 3 chế độ 9Router (tắt / dự phòng / ưu tiên) kèm hạn mức theo ngày.
- Khoá ảo theo tổ chức: chọn model được phép, trần chi theo khoá / tổ chức, preset qua header, email cảnh báo 80 % và 100 %.
- Header tuỳ chỉnh theo nhà cung cấp (chặn header xác thực / hop-by-hop), gộp
anthropic-beta.
Trang công khai — motkey.devbyspark.com
- Model & giá: gộp biến thể effort, logo hãng, giá theo triệu token; trang chi tiết model có uptime theo giờ / ngày, độ trễ và tok/s P50–P99, khối "Gọi model" chỉ in định dạng model thật sự gọi được.
- Tài liệu: 20 trang, mỗi trang có nút Copy cho AI, kèm
/llms.txtvà/llms-full.txt. - Trạng thái: 72 ô mỗi giờ theo giờ Việt Nam, chỉ tính lỗi phía máy chủ; quá nửa request phải chạy đích dự phòng thì ô cam. Giờ nào vắng request, cron worker tự gọi thử đích chính (1 token chat, 1 chuỗi embedding…) để ô không bị trống.
Console cho tổ chức khách
- Đăng ký bằng email (xác minh qua SMTP), Google hoặc GitHub; Cloudflare Turnstile; tổ chức mới chờ admin duyệt trước khi tiêu tiền.
- 2FA TOTP; SSO OIDC / SAML theo domain, ép SSO, SCIM 2.0, xuất trace OTLP / Langfuse — sẵn sau feature flag.
- Thành viên và mã mời, tab Sử dụng, nhật ký request chỉ lưu metadata (30 ngày), nhật ký thao tác, Batches, so sánh 2 model, nhãn Mới / Đổi giá.
- Playground thử đủ loại: chat, embedding, ảnh (đính kèm, mask, sửa tiếp), TTS có trình phát, STT, video; lỗi 400 / 404 / 503 thì tự gửi lại bằng model kế tiếp cùng loại.
Vận hành cho superadmin
- Trang Nhà cung cấp dạng thẻ: n/m khoá dùng được, dải lỗi 7 ngày, đổi ưu tiên khoá, đếm ngược nghỉ 429, kiểm tra hàng loạt.
- Chi tiêu thật: khoá Admin Anthropic → worker 30 phút đọc cost API, ghép theo 4 ký tự cuối khoá.
- Báo cáo biên lợi nhuận theo tổ chức và theo khoá upstream (giá niêm yết × hệ số).
- Vết debug từng request (Redis, 24 giờ): khoá nào, đích nào, vì sao chuyển đích — kể cả request bị chặn trước upstream.
Công nghệ
| Công nghệ | Dùng để làm gì |
|---|---|
| NestJS 11 + Node 22 | Một image hai vai trò api / worker; guard + interceptor tách xác thực, hạn mức, audit |
| PostgreSQL + TypeORM | Tổ chức, khoá, route, usage theo ngày, trạng thái theo giờ, nhật ký; migration chạy bằng Job PreSync |
| Redis + BullMQ | Hàng đợi run và batch, đếm hạn mức, job video, vết debug, pub/sub đẩy đoạn stream SSE sang pod giữ kết nối |
| Nuxt 3 + Naive UI | Trang công khai, console tổ chức khách và trang quản trị; BFF cho Playground (multipart, âm thanh) |
| 9Router | Lớp định tuyến tự host làm đường dự phòng + model media (combo chat / ảnh / TTS) |
| Cloudflare R2 | Files và kết quả batch (bucket riêng, tự xoá sau 31 ngày) |
| Prometheus · pino | Metric token / chi phí / hàng đợi; log JSON che header chứa khoá |
| Kubernetes + ArgoCD | Ingress riêng cho 3 tên miền motkey, cert tự cấp; merge là lên prod |
Kết quả
Là điểm gọi model của đội agent S Store (mỗi tính năng một khoá ảo có trần chi), trợ lý S Pay, S Finance và devbyspark.com. Trang công khai và đăng ký cho tổ chức bên ngoài mở từ 16/11/2026.
Điểm nổi bật
API /v1/chat/completions, /v1/messages, /v1/responses, embeddings, ảnh (tạo + sửa), TTS / STT, video, Files, Batches, Moderations — một khoá gọi được mọi loại model.
Định tuyến nhiều đích: pool khoá upstream xếp ưu tiên hoặc xoay vòng, khoá chạm trần chi tự nghỉ tới mốc mở lại; lỗi / quá giờ thì sang đích kế, cuối cùng là 9Router tự host.
Trang công khai: Model & giá gộp biến thể, trang chi tiết model (uptime, độ trễ P50–P99), Tài liệu 20 trang + /llms.txt, Trạng thái 72 ô mỗi giờ — vắng request thì cron tự gọi thử.
Tổ chức khách: đăng ký email / Google / GitHub có Turnstile, 2FA TOTP, thành viên, khoá ảo theo model được phép, trần chi + email cảnh báo, nhật ký request chỉ lưu metadata, Playground thử đủ loại model.
Vận hành: đồng bộ chi tiêu thật của khoá Anthropic bằng Admin API, báo cáo biên lợi nhuận theo tổ chức / khoá, vết debug từng request cho superadmin; SSO OIDC / SAML, SCIM, ví VND, BYOK sẵn sau feature flag.
