LLamaFactory

本地示例数据集（可直接使用）

在 data 目录下有以下测试数据集：

1. mllm_demo - 多模态图像数据集

   • 文件：data/mllm_demo.json
   • 包含图像和对话数据
   • 支持中英文

2. mllm_video_demo - 多模态视频数据集

   • 文件：data/mllm_video_demo.json
   • 包含视频和对话数据

3. mllm_audio_demo - 多模态音频数据集

   • 文件：data/mllm_audio_demo.json
   • 包含音频和对话数据

4. mllm_video_audio_demo - 视频+音频混合数据集

   • 文件：data/mllm_video_audio_demo.json
   • 同时包含视频和音频

这些数据集已配置在 dataset_info.json 中，可直接使用。

在线数据集（从 HuggingFace 下载）

在 dataset_info.json 中还配置了以下在线数据集：

• llava_1k_en / llava_1k_zh - LLaVA 数据集（1k 样本，英文/中文）
• llava_150k_en / llava_150k_zh - LLaVA 数据集（150k 样本）
• pokemon_cap - Pokemon 图像描述数据集
• mllm_pt_demo - 多模态预训练演示数据集
• rlhf_v - 视觉反馈数据集（用于 DPO 训练）
• vlfeedback - 视觉反馈数据集
• rlaif_v - RLAIF-V 数据集

使用方法

训练时指定数据集名称，例如：

bash
展开代码
llamafactory-cli train --dataset mllm_demo

或使用多个数据集：

bash
展开代码
llamafactory-cli train --dataset mllm_demo,mllm_video_demo

这些数据集已配置好，可直接用于测试多模态训练功能。