DeepSeek本地训练如何投喂

1. 准备训练数据

DeepSeek 支持多种数据格式，最常用的是 JSONL（每行一个 JSON 对象）：

• 指令微调（Instruction Tuning）：每条样本包含 instruction、input（可选）、output 字段。
• 纯文本续写：仅需提供 text 字段。

示例（JSONL）：

{
  "instruction": "解释什么是词嵌入",
  "input": "",
  "output": "词嵌入是将词语映射到向量空间的技术..."
}

2. 数据预处理

在投喂前，建议进行以下预处理：

1. 清洗无效或重复样本；
2. 统一编码为 UTF-8；
3. 控制单条样本长度（建议 ≤ 2048 tokens）；
4. 划分训练集与验证集（如 9:1）。

3. 配置训练脚本

使用 Hugging Face Transformers 或 DeepSeek 官方提供的训练脚本，指定以下参数：

• --train_file：训练数据路径；
• --validation_file：验证数据路径；
• --model_name_or_path：基础模型路径（如 deepseek-ai/deepseek-coder-1.3b-base）；
• --output_dir：模型保存目录。

4. 启动本地训练

确保已安装依赖（如 PyTorch、transformers、accelerate），然后运行：

python train.py \
  --train_file data/train.jsonl \
  --model_name_or_path deepseek-ai/deepseek-coder-1.3b-base \
  --output_dir ./output

根据显存大小调整 per_device_train_batch_size 和梯度累积步数。