Trợ lý AI trong tab Hồ sơ độ khó hiện chỉ hiểu đúng khi admin gõ tên func. Bản thiết kế này sửa phần chọn func theo ngữ nghĩa bằng embedding (có keyword dự phòng), lưu vector bền trong Postgres, và chốt chi phí vận hành gần như bằng không.
Tóm tắt quyết định
Thay bước chọn 12 func ngẫu nhiên bằng xếp hạng tương đồng cosine (embedding chính, keyword dự phòng); catalog trong prompt giảm còn top 40 tên + 12 docs. Không fine-tune, không pgvector, không đổi frontend. Embed một lần cho 580 func, lưu bền trong Postgres, sau đó chỉ embed phần thay đổi.
| Quyết định | Lựa chọn | Lý do ngắn |
|---|---|---|
| Chọn func liên quan | Embedding cosine chính, keyword dự phòng | Câu hỏi theo chủ đề không chứa tên func; keyword đảm bảo chạy được khi thiếu API |
| Lưu vector | Postgres bảng mới + cache RAM read-through | Mất cache không re-embed; hash bắt docs đổi, chỉ embed delta |
| Catalog trong prompt | Top 40 tên + 12 docs; full 580 chỉ khi câu hỏi khám phá | Input 10k → 6k token, giảm ~35% chi phí, vẫn giữ không gian đề xuất |
| Vector theo hồ sơ? | Không — vector theo catalog func | Giá trị on/off/params là trạng thái đã có trong prompt, không đổi ngữ nghĩa |
| pgvector | Không dùng | 580 vector tính cosine trong Go là micro giây; tránh dependency thừa |
| Fine-tune / train riêng | Không | Thiếu data, catalog đổi thường xuyên, chi phí GPU vượt xa lợi ích |
| Model chốt | text-embedding-3-small + gemini-3.5-flash-lite | Đủ chất lượng tiếng Việt, ~$2.6/tháng cho 1.000 tin nhắn |
| Frontend | Không đổi | API response giữ nguyên shape |
Hàm pickDetailedFlags chọn tài liệu đưa vào prompt theo 3 tiêu chí: func đang xem, func có tên xuất hiện nguyên văn trong câu hỏi, func có override trong bản nháp. Hệ quả:
Văn bản embed của mỗi func ghép từ sẵn có: tên, nhóm, tags, tác dụng, thời điểm chạy. Bảng từ khóa tiếng Việt (bỏ dấu) ánh xạ sang category/tags: hồi sinh → revive, dễ hơn → easier, người mới → newbie, điểm → score.
AI chỉ đề xuất, admin duyệt rồi mới lưu và publish lên Firebase Remote Config. Không có đường tự động publish.
Thay vì gửi 580 tên cờ mỗi tin nhắn (~4-5k token), chỉ gửi tên top ~40 cờ theo relevance (~400 token) + docs đầy đủ 12 cờ đầu. AI vẫn có không gian đề xuất rộng gấp 3 lần phần docs, prompt input tụt từ ~10k xuống ~6k token. Full catalog chỉ gửi khi câu hỏi dạng khám phá ("liệt kê", "có những loại nào"). Nếu không có cờ phù hợp, AI nói rõ thay vì bịa tên.
Vector lưu bền trong Postgres, bảng mới difficulty_flag_embeddings (flag_name, vector JSONB, model, text_hash, updated_at). Cache RAM chỉ là read-through:
Cosine similarity tính trong Go: 580 vector × ~1536 chiều là vài trăm nghìn phép nhân float, không đáng kể so với latency gọi LLM.
Số vector luôn bằng số func trong catalog, bất kể số lượng hồ sơ độ khó: vector thể hiện ý nghĩa của func (từ metadata), còn giá trị theo hồ sơ (on/off, params) đã được nhồi vào prompt mỗi lượt chat trong phần "HỒ SƠ ĐANG SỬA".
| Model | Chiều | Giá / 1M token | Ghi chú |
|---|---|---|---|
text-embedding-3-small Chọn | 1536 | $0.02 | Rẻ nhất, đủ tốt cho tiếng Việt |
text-embedding-3-large | 3072 | $0.13 | Không cần cho 580 func |
Cohere embed-multilingual-v3.0 | 1024 | $0.10 | Mạnh đa ngôn ngữ |
Jina jina-embeddings-v3 | 1024 | $0.05 | Giá $0.02 trên site cũ đã lỗi thời |
Không tồn tại model tên gemini-3.5-flash; đây là các bản Flash hiện hữu (giá Standard, ưu đãi đến 31/12/2026, sau đó tăng gấp đôi):
| Model | Input / 1M | Output / 1M | Ghi chú |
|---|---|---|---|
gemini-3.5-flash-lite Chọn | $0.30 | $2.50 | Đủ cho trả lờio ngắn + JSON đề xuất |
gemini-3.8-flash | $0.75 | $3.75 | Mạnh hơn, có Free tier |
gemini-3.1-flash-lite | $0.25 | $1.50 | Thế hệ trước |
Ước tính per tin nhắn với gemini-3.5-flash-lite (input ~6k token: system ~300 + top 40 tên cờ ~400 + 12 docs ~4-5k + overrides; câu hỏi dạng khám phá gửi full catalog thì ~10k; output ~500 token): $0.0026/tin nhắn. Một nghìn tin nhắn mỗi tháng ≈ $2.6/tháng, và còn được miễn phí trong Free tier ở lượng vận hành admin. LLM chiếm trên 99% chi phí; embedding là phần bỏ đi.
difficulty_flag_embeddingsdb/migrations/0048_difficulty_flag_embeddings.sqlROUTER_BRAIN_EMBED_MODELinternal/config/env.go · .env.exampleAIClient.Embed gọi endpoint embeddings chuẩn OpenAIinternal/service/aiclient.go + testKiểm chứng cuối: hỏi "làm game dễ hơn cho người mới" trên tab Hồ sơ độ khó → đề xuất phải thuộc nhóm easier/newbie thay vì func ngẫu nhiên.