Đo một tính năng AI không bắt đầu bằng công cụ. Nó bắt đầu bằng một buổi chiều đọc ba mươi kết quả thật và một cây bút. Theo hướng dẫn của Hamel Husain và Shreya Shankar.
Tóm lại: đọc trước, đo sau.
Lưu ý: đây là hướng dẫn của người làm nghề, không phải tiêu chuẩn. Mình chưa đọc hết trang gốc. Cửa hàng "Hồng" và các con số là minh họa.
| Thuật ngữ | Nói dễ hiểu |
|---|---|
| Evals | Bài kiểm tra đo chất lượng tính năng dùng AI |
| Trace (vết) | Một lần chạy đầy đủ: đầu vào, các bước, đầu ra |
| Phân tích lỗi | Đọc các trường hợp, ghi điều sai, gom nhóm |
| Mã hóa mở và mã hóa trục | Ghi chú tự do từng trường hợp, rồi gom nhóm và đếm |
| Giám khảo bằng mô hình | Một mô hình khác chấm đạt hoặc không |
| Nhị phân | Chỉ hai kết quả: đạt hoặc không đạt |
Hàm cộng hai số thì ra tổng. Có đáp án đúng để so.
Cùng câu hỏi, nhiều cách trả lời. "Tốt" là chuyện phán đoán. Nhiều nhóm bỏ qua việc đo.
Lấy cuộc trò chuyện thật, chọn đa dạng, ẩn thông tin cá nhân.
Tạo dữ liệu tổng hợp có cấu trúc: chọn vài chiều, tự viết khoảng 20 bộ giá trị.
Rồi đọc kết quả. Dữ liệu tổng hợp không cho biết lỗi nào phổ biến.
| Đầu vào | Đầu ra của hệ thống | Đạt? | Lỗi đầu tiên |
|---|---|---|---|
| "Tôi muốn đổi size áo" | Đưa chính sách hoàn tiền | Không | Hiểu nhầm ý |
| "Đơn của tôi bao giờ tới?" | Cho ngày giao đúng | Đạt | (trống) |
| "Bạn làm tôi bực quá" | Trả lời máy móc, không xin lỗi | Không | Giọng quá cứng |
| Nhóm lỗi | Số trường hợp | Gợi ý xử lý |
|---|---|---|
| Hiểu nhầm ý | 9 | Sửa lời nhắc, thêm ví dụ |
| Bịa thông tin | 6 | Lấy từ hệ thống đơn hàng, kiểm tra bằng mã |
| Giọng quá cứng | 5 | Có thể dùng giám khảo, đối chiếu người |
| Quá dài | 4 | Kiểm tra độ dài bằng mã |
| Không chuyển cho người | 3 | Quy tắc rõ, kiểm tra bằng mã |
| Loại | Dùng khi | Ví dụ |
|---|---|---|
| Mã kiểm tra thường | Quy tắc xác định được | JSON hợp lệ, độ dài, ngày giao khớp |
| Giám khảo bằng mô hình | Cần phán đoán kiểu người | "Có xin lỗi khi khách bực không" |
| Cách chấm | Đạt hoặc không đạt | Muốn tiến bộ từng chút: nhiều kiểm tra nhỏ |
Khoảng 100 đến 200 mẫu mỗi loại lỗi, tối thiểu 50 đạt và 50 không.
Ví dụ cho lời nhắc, tập phát triển, tập kiểm tra giữ riêng.
Bắt đúng lỗi thật, và cho qua đúng mẫu tốt.
Trước khi chỉnh lời nhắc của giám khảo.
Đừng bắt một giám khảo bắt nhiều lỗi.
Có thể giám khảo đã quá khít với một tập.
| Buổi | Việc | Đầu ra |
|---|---|---|
| 1 | Thu 30 trường hợp, chạy qua hệ thống thật | Bảng 30 dòng |
| 2 | Đọc từng trường hợp, chấm, ghi lỗi đầu tiên | Bảng ghi chú |
| 3 | Gom nhóm, đếm, chọn ba nhóm lớn nhất, viết ba kiểm tra | Bảng nhóm lỗi và ba kiểm tra |
Dùng chỉ số chung như "hữu ích".
Thay vì lỗi đã thấy.
Khó chính xác, khó kiểm.
Phải so với nhãn của người.
Khoảng 70% có thể là dấu hiệu bài đủ khó.
Người hiểu lĩnh vực mới đọc ra lỗi.
Cửa hàng "Hồng" và các con số trong bảng là ví dụ dựng lại để dễ hình dung.
Ghi một dòng về điều sai ở mỗi cái. Rồi đếm.