esc

请输入并搜索

docker部署大模型

2 文章 × 8010 字

llama.cpp 跑 qwen2.5 量化模型

llama.cpp量化模型部署qwen2.5模型优化深度学习模型蒸馏+2

sglang 部署Qwen2VL7B，大模型部署，速度测试，深度学习

sglang部署qwen2vl7b大模型速度测试深度学习模型优化+2

Dong

个人博客|深度学习|编程开发|嵌入电子|自动控制|算法深耕|