data_shared_file_system 参数的作用和使用位置。

data_shared_file_system 参数详解

1. 参数定义

python
展开代码
# src/llamafactory/hparams/data_args.py 第135-138行
data_shared_file_system: bool = field(
    default=False,
    metadata={"help": "Whether or not to use a shared file system for the datasets."},
)

默认值： False 类型： 布尔值 作用： 控制是否使用共享文件系统来处理数据集

llamafactory/hparams/data_args.py

个人感觉，不太好用，我还没到达使用这个的场景。随便看看Streaming 模式。

--preprocessing_num_workers 96

• 多进程并行处理：用于数据预处理阶段的多进程并行化
• 控制并发度：决定同时有多少个进程进行数据预处理
• 96个进程同时处理数据
• 每个进程处理一部分数据样本
• 适用于CPU密集型的数据预处理任务（如tokenization、图片Resize处理）

CACHE_DIR 是共享存储路径。

bash
展开代码
# 三个环境变量指定到共享存储路径。
    -e HF_DATASETS_CACHE=${CACHE_DIR}/HF_DATASETS_CACHE \
    -e HUGGINGFACE_HUB_CACHE=${CACHE_DIR}/HUGGINGFACE_HUB_CACHE \
    -e TRANSFORMERS_CACHE=${CACHE_DIR}/TRANSFORMERS_CACHE \

# 2个训练参数指定到共享存储路径。
--cache_dir ${CACHE_DIR}/cache_dir \
--tokenized_path ${CACHE_DIR}/tokenized_cache \
# 1个训练参数指定共享存储
--data_shared_file_system true \

以下是 VS Code 常用快捷键（适用于 Windows/Linux，Mac 用户将 Ctrl 替换为 Cmd）：

基础操作

在大模型训练过程中，意外中断（如服务器重启、显存溢出等）是常见问题。如何优雅地恢复训练进度，避免从头再来？LLamaFactory 基于 HuggingFace Transformers，天然支持断点续训（resume from checkpoint）。本文以 Qwen2VL 为例，详细介绍其断点续训机制、配置方法及源码实现位置。

bash
展开代码
echo 'exec /bin/bash' >> ~/.zshrc

Linux系统支持中文字符处理

要让Linux系统更好地支持中文字符处理，您可以安装以下软件包：

bash
展开代码
sudo apt-get update
sudo apt-get install -y locales fonts-noto-cjk language-pack-zh-hans

然后配置系统的语言环境：

bash
展开代码
sudo locale-gen zh_CN.UTF-8
sudo update-locale LANG=zh_CN.UTF-8 LC_ALL=zh_CN.UTF-8

对于Python程序处理中文文件名的问题，您可以确保系统环境变量设置正确：

bash
展开代码
export LANG=zh_CN.UTF-8
export LC_ALL=zh_CN.UTF-8

您也可以使用locale命令检查当前系统的语言环境设置：

bash
展开代码
locale

LLaMA Factory 完全支持 JSONL 格式

LLaMA Factory 对 JSONL 格式的全面支持

官方文档明确声明

LLaMA Factory 官方文档在 data/README.md 中明确声明：

Currently we support datasets in alpaca and sharegpt format. Allowed file types include json, jsonl, csv, parquet, arrow.

这表明 JSONL 格式是 LLaMA Factory 原生支持的文件格式之一。

核心代码实现支持

1. 文件扩展名映射机制

在 src/llamafactory/extras/constants.py 中，LLaMA Factory 定义了完整的文件类型映射：

python
展开代码
FILEEXT2TYPE = {
    "arrow": "arrow",
    "csv": "csv", 
    "json": "json",
    "jsonl": "json",  # JSONL 被映射为 "json" 类型
    "parquet": "parquet",
    "txt": "text",
}

这个映射确保了 .jsonl 文件能够被正确识别和处理。

Read file: src/llamafactory/data/converter.py Read file: src/llamafactory/data/parser.py

LLaMA Factory 不是依靠位置读取的，而是依靠字段名映射！

关键发现：

1. 字段名映射机制

从 src/llamafactory/data/parser.py 第 47-53 行可以看出，LLaMA Factory 使用字段名映射而不是位置：

python
展开代码
# sharegpt tags
role_tag: Optional[str] = "from"        # 默认映射 "from" 字段
content_tag: Optional[str] = "value"    # 默认映射 "value" 字段
user_tag: Optional[str] = "human"       # 默认映射 "human" 值
assistant_tag: Optional[str] = "gpt"    # 默认映射 "gpt" 值