apt update
apt-get install libglib2.0-0 -y

要做什么

全量微调Qwen2.5-VL-7B-Instruct的参数，用于图片转公式LaTex。

模型地址：https://huggingface.co/Qwen/Qwen2.5-VL-7B-Instruct

数据集

数据集：https://modelscope.cn/datasets/AI-ModelScope/LaTeX_OCR/summary

数据集下载，约有1.1G大小数据：

bash
modelscope download --dataset AI-ModelScope/LaTeX_OCR --local_dir AI-ModelScope/LaTeX_OCR

该Python脚本用于处理/ssd/xiedong/vlm-r1-train-tasks-json-ui-docto/tasks_json目录下的数据，将其中所有图片等比例缩小（最长边为1024像素），并连同JSON文件一起复制到新目录/ssd/xiedong/vlm-r1-train-tasks-json-ui-docto/tasks_json_small_size中。

功能说明

• 遍历源目录下所有子文件夹（如"200932"等）
• 处理每个子文件夹中的所有.jpg图片文件，等比例缩放至最长边为1024像素
• 同时复制所有step_*.json文件到对应目录
• 使用Python多进程技术并行处理，大幅提高处理速度

https://github.com/om-ai-lab/VLM-R1/tree/main

GRPO (Generalized Rewards with Policy Optimization) 训练方法分析

GRPO 是一种起源于 DeepSeekMath 论文的强化学习方法，用于优化语言模型或多模态模型。它特别适用于优化特定任务的性能，如数学推理或遵循指令。

VLM-R1GRPO微调， 实战训练教程（1）：

https://www.dong-blog.fun/post/1961

本博客这次使用多图进行GRPO。

官方git项目：https://github.com/om-ai-lab/VLM-R1?tab=readme-ov-file