侧边栏壁纸
博主头像
KikiAi技术站博主等级

专业的事情交给专业的人来做,专治各种“水土不服”

  • 累计撰写 39 篇文章
  • 累计创建 38 个标签
  • 累计收到 0 条评论

目 录CONTENT

文章目录

LMDeploy

Kiki
2024-06-05 / 0 评论 / 0 点赞 / 48 阅读 / 3333 字 / 正在检测是否收录...

1. 项目支持说明

https://github.com/InternLM/lmdeploy

LMDeploy:用于压缩、部署和服务 LLM 的工具包

支持Linux(Ubuntu\Centos)、Windows等系统集成GPU安装部署

如有相关的需求,可直接联系微信Kiki_spy、淘宝店【Kiki技术站】

2. 支持模型列表

LLMs

VLMs

  • Llama (7B - 65B)

  • Llama2 (7B - 70B)

  • Llama3 (8B, 70B)

  • InternLM (7B - 20B)

  • InternLM2 (7B - 20B)

  • QWen (1.8B - 72B)

  • QWen1.5 (0.5B - 110B)

  • QWen1.5 - MoE (0.5B - 72B)

  • Baichuan (7B)

  • Baichuan2 (7B-13B)

  • Code Llama (7B - 34B)

  • ChatGLM2 (6B)

  • Falcon (7B - 180B)

  • YI (6B-34B)

  • Mistral (7B)

  • DeepSeek-MoE (16B)

  • Mixtral (8x7B, 8x22B)

  • Gemma (2B - 7B)

  • Dbrx (132B)

  • StarCoder2 (3B - 15B)

  • Phi-3-mini (3.8B)

  • LLaVA(1.5,1.6) (7B-34B)

  • InternLM-XComposer2 (7B, 4khd-7B)

  • QWen-VL (7B)

  • DeepSeek-VL (7B)

  • InternVL-Chat (v1.1-v1.5)

  • MiniGeminiLlama (7B)

  • CogVLM-Chat (17B)

  • CogVLM2-Ch

0
广告 广告

评论区