Một tính năng AI thành công không chỉ ở số lượt dùng. Đo theo ba lớp cùng lúc, và đọc tỷ lệ chấp nhận cạnh tỷ lệ đạt.
Tóm lại: quyết trước sẽ làm gì khi một chỉ số xấu đi.
Lưu ý: nguồn thứ cấp (blog người làm nghề). Mọi ngưỡng và con số là minh họa. Cửa hàng "Hồng" là ví dụ dựng lại.
| Thuật ngữ | Nói dễ hiểu |
|---|---|
| Tỷ lệ chấp nhận | Tỷ lệ kết quả AI người dùng lấy và dùng nguyên |
| Tỷ lệ sửa | Tỷ lệ kết quả người dùng sửa rồi mới dùng |
| Tỷ lệ bỏ đi làm lại | Tỷ lệ kết quả người dùng bỏ và tự làm |
| Độ trễ p95 | Thời gian mà 95% yêu cầu xong trong đó, cho thấy ca chậm nhất |
| Token | Đơn vị chữ mô hình xử lý và tính tiền |
| Chi phí mỗi kết quả thành công | Tổng chi phí chia cho số lần AI thật sự giúp được |
Kết quả có đúng và hữu ích không? Lấy từ phân tích lỗi và evals.
Mỗi kết quả thành công tốn bao nhiêu, có nhanh không? Lấy từ hóa đơn, nhật ký.
Người dùng có tin và dùng không? Lấy từ hành vi người dùng.
| Chỉ số | Ý nghĩa |
|---|---|
| Tỷ lệ đạt theo nhóm lỗi | Ví dụ hiểu nhầm ý, bịa thông tin, giọng quá cứng. Mỗi nhóm một số |
| Số lỗi nghiêm trọng | Giá bịa khác hẳn lời lẽ hơi cứng. Đếm riêng lỗi có hậu quả thật |
| Tỷ lệ đạt chung | Có, nhưng đừng là con số duy nhất |
| Chạy lại evals | Mỗi khi đổi mô hình, lời nhắc hoặc dữ liệu |
| Mục | Giá trị minh họa |
|---|---|
| Câu hỏi của khách | 10.000 |
| Chi phí mô hình và hạ tầng | 20 triệu đồng |
| Câu trả lời dùng nguyên | 6.500 |
| Cần nhân viên sửa (3 phút mỗi câu) | 2.500 câu, 7,5 triệu đồng công |
| Chuyển hẳn cho người | 1.000 |
20 triệu chia 10.000 lượt gọi là 2.000 đồng mỗi lượt. Bỏ sót công nhân viên sửa và 1.000 ca thất bại.
Tổng 20 + 7,5 = 27,5 triệu. Kết quả thành công 6.500 + 2.500 = 9.000. Mỗi kết quả thành công khoảng 3.060 đồng.
Trung bình che mất các ca chậm nhất, mà đó mới là lúc người dùng bỏ đi.
Cho thấy ca chậm mà người dùng nhớ. Với trò chuyện, thời gian đến chữ đầu tiên quyết định cảm giác nhanh.
| Chỉ số | Ý nghĩa |
|---|---|
| Tỷ lệ chấp nhận | Dùng nguyên |
| Tỷ lệ sửa | Sửa rồi dùng |
| Tỷ lệ bỏ đi làm lại | Bỏ và tự làm |
| Báo là sai | Người dùng chủ động nói "sai" |
| Chuyển cho người và mở lại | Việc "xong" mà quay lại |
| Tình huống | Có thể nghĩa là |
|---|---|
| Chấp nhận cao, đạt cao | Tính năng tốt, tin vừa phải |
| Chấp nhận cao, đạt thấp | Tin quá mức, rủi ro cao |
| Chấp nhận thấp, đạt cao | Người dùng chưa tin, có thể do giao diện |
| Chấp nhận thấp, đạt thấp | Tính năng chưa đạt, ít dùng là đúng |
Cảnh báo khi một nhóm tụt.
Bất kỳ lỗi nào có hậu quả thật.
Tăng khi lượng dùng tăng.
Dài ra, hoặc chữ đầu chậm.
Tăng nhanh hơn kết quả.
Chấp nhận vượt xa đạt.
Nhảy vọt đột ngột.
Tăng lên.
Quá ít (bỏ sót) hoặc quá nhiều.
| Nếu | Thì |
|---|---|
| Lỗi nghiêm trọng (như bịa giá) | Tắt phần đó trước, sửa, rồi bật lại |
| Một nhóm đạt thấp hơn mức đặt | Dừng mở rộng, xem lại lời nhắc |
| Chấp nhận vượt xa đạt | Thêm bước xác nhận, hiện nguồn |
| Chi phí vượt ngân sách | Xem lại mô hình, cách gọi hoặc phạm vi |
Dùng nhiều chưa chắc tốt.
Ít người bấm, lệch về hai cực.
Tiền mô hình rẻ, tổng chi phí chưa chắc.
Nhìn p95 và ca xấu nhất.
Không biết chất lượng đổi thế nào.
Thưởng theo tỷ lệ chấp nhận, người ta sẽ làm đẹp số.
Cửa hàng "Hồng" và mọi con số trong bài là ví dụ dựng lại để minh họa công thức.
So với con số bạn vẫn dùng. Khoảng cách là điều đáng biết.