vLLM

vLLM là một engine inference và serving mạnh mẽ được thiết kế dành riêng cho các mô hình ngôn ngữ lớn (LLMs). Nó cung cấp cho người dùng sự linh hoạt để triển khai đa dạng các mô hình mã nguồn mở trên nhiều nền tảng phần cứng khác nhau. Các tính năng chính bao gồm:

• OpenAI-compatible API: Tích hợp một cách liền mạch.
• PagedAttention: Tối đa hóa throughput để đạt hiệu suất GPU cao nhất.
• : Giảm chi phí vận hành bằng cách nâng cao hiệu quả sử dụng phần cứng.