Bài toán
Nhiều sản phẩm trong hệ sinh thái SPARK DEV cần trợ lý AI riêng — chatbot cửa hàng của Core CMS, trợ lý tài chính của SPARK Finance, agent trong group chat của OrderManager, trợ lý trên chính trang portfolio này. Gọi thẳng nhà cung cấp LLM từ từng app thì mỗi nơi lại tự lo khoá API, giới hạn tần suất, lịch sử hội thoại và công cụ. SPARK AI Gateway gom tất cả về một chỗ.
Giải pháp
- API tương thích OpenAI (
/v1/chat/completions,/v1/models): app nào nói được chuẩn OpenAI là dùng được, chỉ đổi base URL và khoá. - Broker giữa nhiều tenant và agent OpenClaw: mỗi app có khoá
sk_…riêng, mỗi hội thoại được gắn với một phiên agent nên agent nhớ ngữ cảnh mà app không phải tự quản lý lịch sử. - Định tuyến model qua 9Router tới Claude, GPT hoặc Gemini.
- Streaming SSE kèm phần mở rộng
spark_status(agent đang suy nghĩ / đang dùng tool) vàspark_attachment(file do tool tạo ra, lưu lại trên Cloudflare R2). - An toàn & vận hành: xác thực HMAC + API key, rate limit bằng Redis, cắt gọn lịch sử tin nhắn, audit log, metrics Prometheus.
Kiến trúc
- NestJS 11 trên Node 22, PostgreSQL 16 (TypeORM), hàng đợi BullMQ trên Redis, log pino.
- Tách 3 deployment: API, worker xử lý run (giữ 1 replica để đảm bảo thứ tự) và trang quản trị.
- Trang quản trị: agent, app, khoá, phiên, run, tool, usage, audit log, người dùng, playground.
Đang phục vụ
Trợ lý tài chính (SPARK Finance), agent group chat (OrderManager), chatbot cửa hàng (Core CMS) và trợ lý "Hỏi về Bình" trên devbyspark.com.