SWE-benchĐánh giá chuẩn các tác vụ kỹ thuật phần mềm.
SWE-bench cung cấp một bộ công cụ toàn diện để benchmarking các mô hình phần mềm.
Key Features:
- Diverse Tasks: Bao gồm các vấn đề (issues) thực tế từ GitHub trên nhiều ngôn ngữ lập trình khác nhau.
- Multiple Variants: Các tùy chọn như Verified, Lite và Multimodal để phục vụ các mức độ đánh giá khác nhau.
- User-Friendly: Thiết lập dễ dàng để kiểm tra độ chính xác và hiệu suất của mô hình.
Use Cases:
- Research: Hoàn hảo cho việc kiểm thử mô hình và các nghiên cứu học thuật.
- Development: Tăng cường huấn luyện mô hình để đạt hiệu suất tối ưu trong các ứng dụng thực tế.
