1. 项目支持说明
https://github.com/vllm-project/vllm
vLLM :一个快速且易于使用的 LLM 推理和服务库
支持Linux(Ubuntu\Centos)系统继承GPU安装部署、定制封装
支持自定义vllm、Cuda版本集成,修复官方不支持相关cuda版本问题
如有相关的需求,可直接联系微信Kiki_spy、淘宝店【Kiki技术站】
https://github.com/vllm-project/vllm
vLLM :一个快速且易于使用的 LLM 推理和服务库
支持Linux(Ubuntu\Centos)系统继承GPU安装部署、定制封装
支持自定义vllm、Cuda版本集成,修复官方不支持相关cuda版本问题
如有相关的需求,可直接联系微信Kiki_spy、淘宝店【Kiki技术站】
评论区