2025-05-01

grpo_config.py

GRPO配置参数文档

模型和参考模型参数

model_init_kwargs: dict[str, Any] 或 None，默认值 None
- 用于transformers.AutoModelForCausalLM.from_pretrained的关键字参数，当GRPOTrainer的model参数提供为字符串时使用。

数据预处理参数

remove_unused_columns: bool，默认值 False
- 是否仅保留数据集中的"prompt"列。如果您使用的自定义奖励函数需要"prompts"和"completions"以外的任何列，应将此值保持为False。
max_prompt_length: int 或 None，默认值 512
- 提示的最大长度。如果提示长度超过此值，将从左侧截断。
num_generations: int 或 None，默认值 8
- 每个提示生成的样本数。全局批次大小(num_processes * per_device_batch_size)必须能被此值整除。
temperature: float，默认值 0.9
- 采样的温度。温度越高，生成的内容越随机。
max_completion_length: int 或 None，默认值 256
- 生成内容的最大长度。
ds3_gather_for_generation: bool，默认值 True
- 适用于DeepSpeed ZeRO-3。如果启用，将收集策略模型权重以提高生成速度。禁用此选项可以训练超出单个GPU VRAM容量的模型，但会降低生成速度。禁用此选项与vLLM生成不兼容。

阅读全文

vLLM 如何使用配置 tokenizer_config.json

2025-04-30

深度学习

揭秘 vLLM 中的 tokenizer_config.json：以 Qwen3 模型为例深度解析

在使用 vLLM 部署大型语言模型（LLM）时，我们经常会接触到模型目录下的各种配置文件。其中，tokenizer_config.json 是一个至关重要的文件，它像一座桥梁，连接着人类可读的文本与模型内部能理解的数字表示。本文将以部署 Qwen3-30B-A3B 模型为例，深入探讨 tokenizer_config.json 在 vLLM 中的作用以及其内部各项配置的含义。

阅读全文

YaRN：大型语言模型的高效上下文窗口扩展

2025-04-30

DL论文

YaRN：大语言模型的高效上下文窗口扩展

摘要

旋转位置嵌入（RoPE）已被证明可以在基于 Transformer 的语言模型中有效编码位置信息。然而，这些模型无法泛化到超出其训练时所使用的序列长度。我们提出了 YaRN（Yet another RoPE extensioN method），一种计算高效的方法来扩展这类模型的上下文窗口，所需 token 数量比先前方法少 10 倍，训练步数少 2.5 倍。使用 YaRN，我们展示了 LLaMA 模型可以有效地利用并外推到远超其原始预训练所允许的上下文长度，同时在上下文窗口扩展方面也超越了先前的最先进水平。此外，我们证明了 YaRN 具有超越微调数据集有限上下文的外推能力。使用 YaRN 微调的模型已在 https://github.com/jquesnelle/yarn 上公开并可在线复现，上下文长度最高可达 128k。

1 引言

基于 Transformer 的大型语言模型[40]（LLMs）已成为许多自然语言处理（NLP）任务近乎无处不在的选择，在这些任务中，上下文学习（ICL）等长距离能力至关重要。在执行 NLP 任务时，由其训练过程决定的序列最大长度（上下文窗口）已成为预训练 LLM 的主要限制之一。通过少量微调（或无需微调）动态扩展上下文窗口的能力变得越来越重要。为此，Transformer 的位置编码成为讨论的中心。

最初的 Transformer 架构使用绝对正弦位置编码，后来改进为可学习的绝对位置编码[15]。此后，相对位置编码方案[32]进一步提高了 Transformer 的性能。目前，最流行的相对位置编码是 T5 相对偏置[30]、RoPE[34]、XPos[35]和 ALiBi[27]。

位置编码的一个反复出现的局限性是无法泛化到训练期间看到的上下文窗口之外。虽然像 ALiBi 这样的一些方法能够进行有限的泛化，但没有一种方法能够泛化到明显长于其预训练长度的序列[22]。

为了克服这一限制，已经进行了一些工作。[9]和同期[21]提出通过位置插值（PI）轻微修改 RoPE 并使用少量数据进行微调来扩展上下文长度。作为替代方案，[6]提出了"NTK-aware"插值法，考虑了高频信息的损失。此后，针对"NTK-aware"插值法提出了两种改进，各有侧重：

"Dynamic NTK"插值法[14]，适用于无需微调的预训练模型。
"NTK-by-parts"插值法[7]，在少量长上下文数据上进行微调时表现最佳。

"NTK-aware"插值法和"Dynamic NTK"插值法已经在开源模型中得到应用，例如 Code Llama[31]（使用"NTK-aware"插值法）和 Qwen 7B[2]（使用"Dynamic NTK"）。在本文中，除了全面介绍先前未发表的关于"NTK-aware"、"Dynamic NTK"和"NTK-by-part"插值法的工作外，我们还提出了 YaRN（Yet another RoPE extensioN method），这是一种改进的方法，可以有效地扩展使用旋转位置嵌入（RoPE）训练的模型的上下文窗口，包括 LLaMA[38]、GPTNeoX[5]和 PaLM[10]系列模型。 YaRN 在仅使用约原始预训练数据 0.1% 的情况下进行微调后，在上下文窗口扩展方面达到了最先进的性能。同时，通过结合称为动态缩放（Dynamic Scaling）的推理时技术，Dynamic-YaRN 可以在没有任何微调的情况下实现超过 2 倍的上下文窗口扩展。

阅读全文

Qwen/Qwen3如何支持长的上下文

2025-04-30

深度学习

https://modelscope.cn/models/Qwen/Qwen3-30B-A3B#processing-long-texts

阅读全文

如何强制关闭Qwen/Qwen3的思考功能

2025-04-30

深度学习ban

该文章已加密，点击 阅读全文 并输入密码后方可查看。

阅读全文

Qwen/Qwen3-30B-A3B vllm部署和访问

2025-04-30

深度学习

部署

https://modelscope.cn/models/Qwen/Qwen3-30B-A3B

部署时，您可以使用 sglang>=0.4.6.post1 或 vllm>=0.8.4 或创建一个与 OpenAI 兼容的 API 端点：


展开代码
SGLANG_USE_MODELSCOPE=1 python -m sglang.launch_server --model-path Qwen/Qwen3-30B-A3B --reasoning-parser qwen3


展开代码
VLLM_USE_MODELSCOPE=1 vllm serve Qwen/Qwen3-30B-A3B  --enable-reasoning --reasoning-parser deepseek_r1

我爱用VLLM+Docker+不要reasoning：


展开代码
# 下载镜像
docker pull vllm/vllm-openai:latest

# 下载模型
modelscope download Qwen/Qwen3-30B-A3B --local-dir ./Qwen/Qwen3-30B-A3B

# 启动服务
docker run -d --gpus '"device=2,3"' \
    -v /data/xiedong/Qwen/Qwen3-30B-A3B:/model \
    -p 8027:8000 \
    vllm/vllm-openai:latest \
    --model /model --gpu_memory_utilization=0.9 \
	--tensor-parallel-size 1 \
	--data_parallel_size 2 \
	--pipeline-parallel-size 1 \
	--served-model-name Qwen3-30B-A3B  \
	--enable-auto-tool-choice --tool-call-parser hermes \
	--enable-reasoning --reasoning-parser deepseek_r1 \
	--api_key "YOUR_API_KEY"

要reasoning的话，run 要加入--enable-reasoning --reasoning-parser deepseek_r1

要工具解析的话，run 要加入--enable-auto-tool-choice --tool-call-parser hermes

限制tokens的话，run 要加入--max-model-len 10000

请求

请求：


展开代码
curl -X POST "http://10.136.19.27:8027/v1/chat/completions" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen3-30B-A3B",
    "messages": [
      {
        "role": "user",
        "content": "你是谁？"
      }
    ],
    "temperature": 0.7,
    "top_p": 0.8,
    "top_k": 20,
    "max_tokens": 4096,
    "presence_penalty": 1.5
  }'

对应回复：


展开代码
{
  "id": "chatcmpl-978124635f614b4f8b1a1e24c36e9fb0",
  "object": "chat.completion",
  "created": 1745979458,
  "model": "Qwen3-30B-A3B",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "reasoning_content": "\n好的，用户问“你是谁？”，我需要回答我的身份。首先，我要明确自己的角色是通义千问，由阿里巴巴集团旗下的通义实验室研发。接下来，我应该简要说明我的功能和用途，比如回答问题、创作文字、逻辑推理、编程等等。同时，要保持口语化，避免使用专业术语，让用户容易理解。另外，可能需要加入一些友好的语气，比如用“你好呀！”来开头，让对话更亲切。还要注意不要包含任何格式，比如不用Markdown，保持自然的中文表达。最后，确保回答简洁明了，不超过两句话，同时涵盖主要信息。现在把这些点组织成一个自然的回复。\n",
        "content": "\n\n你好呀！我是通义千问，是阿里巴巴集团自主研发的超大规模语言模型，可以回答问题、创作文字、逻辑推理、编程等等。有什么我可以帮你的吗？😊",
        "tool_calls": []
      },
      "logprobs": null,
      "finish_reason": "stop",
      "stop_reason": null
    }
  ],
  "usage": {
    "prompt_tokens": 11,
    "total_tokens": 198,
    "completion_tokens": 187,
    "prompt_tokens_details": null
  },
  "prompt_logprobs": null
}

请求的时候，带工具要求

请求：


展开代码
curl -X POST "http://10.136.19.27:8027/v1/chat/completions" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen3-30B-A3B",
    "messages": [
      {
        "role": "user",
        "content": "今天天气如何？请调用天气查询工具获取信息。"
      }
    ],
    "tools": [
      {
        "type": "function",
        "function": {
          "name": "get_weather",
          "description": "根据城市名称返回该城市的实时天气情况。",
          "parameters": {
            "type": "object",
            "properties": {
              "city": {
                "type": "string",
                "description": "需要查询天气的城市名称"
              }
            },
            "required": ["city"]
          }
        }
      }
    ],
    "temperature": 0.7,
    "top_p": 0.8,
    "top_k": 20,
    "max_tokens": 4096,
    "presence_penalty": 1.5
  }'

模型回复是：


展开代码
{
  "id": "chatcmpl-16af1ddb5f0d418e8669d2189ee07c8b",
  "object": "chat.completion",
  "created": 1745980126,
  "model": "Qwen3-30B-A3B",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "reasoning_content": "\n好的，用户问今天天气如何，并且要求调用天气查询工具。首先，我需要确定用户所在的城市，因为不同的城市天气不同。但用户没有提到具体是哪个城市，可能需要进一步询问。不过根据提供的工具，get_weather函数需要城市名称作为参数。这时候可能需要假设用户默认的城市，或者提示用户提供城市信息。但根据提供的工具示例，这里假设城市为北京。\n",
        "content": "\n\n",
        "tool_calls": [
          {
            "id": "chatcmpl-tool-7cd273bfadf6475aa0c308fc08234885",
            "type": "function",
            "function": {
              "name": "get_weather",
              "arguments": "{\"city\": \"北京\"}"
            }
          }
        ]
      },
      "logprobs": null,
      "finish_reason": "tool_calls",
      "stop_reason": null
    }
  ],
  "usage": {
    "prompt_tokens": 174,
    "total_tokens": 404,
    "completion_tokens": 230,
    "prompt_tokens_details": null
  },
  "prompt_logprobs": null
}

如果不需要thinking

考虑效率，不需要思考就加上"chat_template_kwargs": {"enable_thinking": false}


展开代码
curl -X POST "http://10.136.19.27:8027/v1/chat/completions" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen3-30B-A3B",
    "messages": [
      {
        "role": "user",
        "content": "你是谁？"
      }
    ],
    "temperature": 0.7,
    "top_p": 0.8,
    "top_k": 20,
    "max_tokens": 4096,
    "presence_penalty": 1.5,
    "chat_template_kwargs": {"enable_thinking": false}
  }'

大模型回复如下，看起来内容到reasoning_content里了，这有问题：


展开代码
{
  "id": "chatcmpl-0e9e560155564b07870b9474c37288ac",
  "object": "chat.completion",
  "created": 1745980349,
  "model": "Qwen3-30B-A3B",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "reasoning_content": "我是通义千问，是阿里巴巴集团旗下的通义实验室自主研发的超大规模语言模型。我的中文名是通义千问，英文名是Qwen。我被设计用来回答各种问题、创作文字、逻辑推理、编程等，可以支持多语言交流。如果你有任何问题或需要帮助，欢迎随时告诉我！",
        "content": null,
        "tool_calls": []
      },
      "logprobs": null,
      "finish_reason": "stop",
      "stop_reason": null
    }
  ],
  "usage": {
    "prompt_tokens": 15,
    "total_tokens": 85,
    "completion_tokens": 70,
    "prompt_tokens_details": null
  },
  "prompt_logprobs": null
}

一开始启动就不要think的话：


展开代码
# 启动服务
docker run -d --gpus '"device=2,3"' \
    -v /data/xiedong/Qwen/Qwen3-30B-A3B:/model \
    -p 8027:8000 \
    vllm/vllm-openai:latest \
    --model /model --gpu_memory_utilization=0.9 \
	--tensor-parallel-size 1 \
	--data_parallel_size 2 \
	--pipeline-parallel-size 1 \
	--served-model-name Qwen3-30B-A3B  \
	--enable-auto-tool-choice --tool-call-parser hermes \
	--api_key "YOUR_API_KEY"

正常了：


展开代码
{
  "id": "chatcmpl-19b25b7f103b44f0803fa33708aad95a",
  "object": "chat.completion",
  "created": 1745980850,
  "model": "Qwen3-30B-A3B",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "reasoning_content": null,
        "content": "我是通义千问，是阿里巴巴集团旗下的通义实验室自主研发的超大规模语言模型。我能够回答问题、创作文字、逻辑推理、编程等多种任务。你可以叫我Qwen或者通义千问。有什么我可以帮你的吗？",
        "tool_calls": []
      },
      "logprobs": null,
      "finish_reason": "stop",
      "stop_reason": null
    }
  ],
  "usage": {
    "prompt_tokens": 15,
    "total_tokens": 67,
    "completion_tokens": 52,
    "prompt_tokens_details": null
  },
  "prompt_logprobs": null
}

阅读全文

Qwen/Qwen3-32B vllm部署和访问

2025-04-29

深度学习

https://modelscope.cn/models/Qwen/Qwen3-32B

部署时，您可以使用 sglang>=0.4.6.post1 或 vllm>=0.8.4 或创建一个与 OpenAI 兼容的 API 端点：


展开代码
SGLANG_USE_MODELSCOPE=1 python -m sglang.launch_server --model-path Qwen/Qwen3-32B --reasoning-parser qwen3


展开代码
VLLM_USE_MODELSCOPE=1 vllm serve Qwen/Qwen3-32B --enable-reasoning --reasoning-parser deepseek_r1

我爱用VLLM+Docker+不要reasoning：


展开代码
# 下载镜像
docker pull vllm/vllm-openai:latest

# 下载模型
modelscope download Qwen/Qwen3-32B --local_dir ./Qwen/Qwen3-32B

# 启动服务
docker run -d --gpus '"device=0,1,2,3"' \
    -v /data/xiedong/Qwen/Qwen3-32B:/model \
    -p 8028:8000 \
    vllm/vllm-openai:latest \
    --model /model --gpu_memory_utilization=0.9 --tensor-parallel-size 2 --data_parallel_size 2 --pipeline-parallel-size 1 --max-model-len 10000 --served-model-name gpt
    
    
# 启动服务2
docker run -d --gpus '"device=4,5,6,7"' \
    -v /data/xiedong/Qwen/Qwen3-32B:/model \
    -p 8028:8000 \
    vllm/vllm-openai:latest \
    --model /model --gpu_memory_utilization=0.9 --tensor-parallel-size 1 --data_parallel_size 4 --pipeline-parallel-size 1 --max-model-len 10000 --served-model-name gpt
    
    
# 启动服务3
docker run -d --gpus '"device=2,3"' \
    -v /ssd/xiedong/Qwen/Qwen3-32B:/model \
    -p 8077:8000 \
    vllm/vllm-openai:latest \
    --model /model --gpu_memory_utilization=0.9 --tensor-parallel-size 1 --data_parallel_size 2 --pipeline-parallel-size 1 --max-model-len 10000 --served-model-name gpt

要reasoning的话，run 要加入--enable-reasoning --reasoning-parser deepseek_r1

请求：


展开代码
curl -X POST "http://10.136.19.27:8028/v1/chat/completions" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt",
    "messages": [
      {
        "role": "user",
        "content": "你是谁？"
      }
    ],
    "temperature": 0.7,
    "top_p": 0.8,
    "top_k": 20,
    "max_tokens": 4096,
    "presence_penalty": 1.5
  }'

考虑效率，不需要思考就加上"chat_template_kwargs": {"enable_thinking": false}


展开代码
curl -X POST "http://10.136.19.27:8028/v1/chat/completions" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt",
    "messages": [
      {
        "role": "user",
        "content": "你是谁？"
      }
    ],
    "temperature": 0.7,
    "top_p": 0.8,
    "top_k": 20,
    "max_tokens": 4096,
    "presence_penalty": 1.5,
    "chat_template_kwargs": {"enable_thinking": false}
  }'

阅读全文

使用 Ziegler-Nichols 法进行 PID 参数整定：实践指南

2025-04-29

单片机