Dong
Qwen/Qwen3-235B-A22B-Instruct-2507-FP8 部署
2025-11-11
深度学习
00
bash
展开代码
# 使用vLLM启动
python -m vllm.entrypoints.openai.api_server \
    --model /mnt/jfs6/model/Qwen3-235B-A22B-Instruct-2507-FP8 \
    --served-model-name gpt \
    --host 0.0.0.0 \
    --port 8000 \
    --max-model-len 8192 \
    --tensor-parallel-size 4 \
    --api-key "123"
如果对你有用的话，可以打赏哦
打赏
ali pay
wechat pay

本文作者:Dong

本文链接:

版权声明:本博客所有文章除特别声明外，均采用 CC BY-NC。本作品采用《知识共享署名-非商业性使用 4.0 国际许可协议》进行许可。您可以在非商业用途下自由转载和修改，但必须注明出处并提供原作者链接。 许可协议。转载请注明出处！