eval $(curl -s http://deploy.i.shaipower.com/httpproxy)

bash
展开代码
# Linux
curl -sSfL https://github.com/peak/s5cmd/releases/download/v2.2.2/s5cmd_2.2.2_Linux-64bit.tar.gz | tar -xz
mv s5cmd /usr/local/bin/

bash
展开代码
export AWS_ACCESS_KEY_ID="x"
export AWS_SECRET_ACCESS_KEY="x"
# 设置 S3 区域（根据实际情况修改，如 cn-beijing, us-east-1 等）
export AWS_DEFAULT_REGION="us-east-1"
# 设置自定义 S3 endpoint URL（用于兼容 OSS 等 S3 兼容服务）
export AWS_ENDPOINT_URL="http://oss.i.x.com"

bash
展开代码
s5cmd --numworkers 4000 cp --concurrency 4000 /mnt/jfs6/ s3://shai-aos-general/jfs6-new/

ms-swift export 导出packing数据：

bash
展开代码
# Qwen3-VL 多模态模型导出 cached_dataset
IMAGE_MAX_TOKEN_NUM=5000 \
MAX_PIXELS=1003520 \
VIDEO_MAX_TOKEN_NUM=128 \
FPS_MAX_FRAMES=16 \
swift export \
    --model /mnt/jfs6/model/Qwen3-VL-8B-Instruct/ \
    --dataset 'your_dataset_name' \
    --split_dataset_ratio 0 \
    --dataset_num_proc 16 \
    --max_length 10240 \
    --to_cached_dataset true \
    --output_dir /path/to/output/cached_dataset

训练时候使用：

bash
展开代码
# 训练时使用
IMAGE_MAX_TOKEN_NUM=5000 \
MAX_PIXELS=1003520 \
VIDEO_MAX_TOKEN_NUM=128 \
FPS_MAX_FRAMES=16 \
swift sft \
    --model /mnt/jfs6/model/Qwen3-VL-8B-Instruct/ \
    --cached_dataset '/mnt/jfs6/g-xiedong/cached_dataset/train' \
    --cached_val_dataset '/mnt/jfs6/g-xiedong/cached_dataset/val' \
    --packing true \
    --packing_num_proc 64 \
    --max_length 10240 \

IMAGE_MAX_TOKEN_NUM、max_length 需要一致 ！

1. 查找 nvidia-smi → 找到 /usr/local/nvidia/bin/nvidia-smi
2. 添加到 PATH → export PATH="/usr/local/nvidia/bin:$PATH"
3. 查找 CUDA 库 → 找到 /usr/local/nvidia/lib64
4. 设置 LD_LIBRARY_PATH → export LD_LIBRARY_PATH="/usr/local/nvidia/lib64:$LD_LIBRARY_PATH"
5. 设置 CUDA_HOME → export CUDA_HOME="/usr/local/cuda"

MS-SWIFT 数据处理流程详解

本文档详细说明从原始数据到训练的完整数据处理流程，包括每个

MS-SWIFT 数据缓存机制详解

1. 总体缓存架构

MS-SWIFT 的数据缓存分为三个层次:

1. 数据预处理缓存 (HuggingFace Datasets Arrow格式)
2. Packing数据缓存 (Megatron模式专用)
3. 媒体资源缓存 (图片/视频等多模态数据)

ms-swift SFT 训练数据格式指南

一、支持的4种数据格式

ms-swift

Docker 镜像构建指南

📁 核心文件结构

展开代码
/data/xiedong/mo

LlamaFactory 通过继承 transformers 的 Seq2SeqTrainingArguments 来获得完整的训练参数，无需单独定义。因此，你可以直接在 YAML 配置文件中添加 save_total_limit 参数，它会自动被识别和使用。

具体使用方式

在 YAML 配置文件中设置如下参数：

yaml
展开代码
save_steps: 500
save_strategy: steps
save_total_limit: 3  # 最多只保留最近的3个检查点

参数说明

工作流程

1. 你的配置文件会由 HfArgumentParser 进行解析。
2. 参数会传递给继承自 transformers.TrainingArguments 的 TrainingArguments 类。
3. Trainer 在训练过程中将根据这些设置自动管理检查点的保存和删除。

注意事项

• 当同时启用 load_best_model_at_end 时，最佳的模型检查点会被额外保留，不计入 save_total_limit 的限制。
• 建议将 save_strategy 设置为 "steps" 以配合 save_steps 使用，实现定期的检查点保存。