LFM2 模型微调教程：用 QLoRA 和 DPO 在 Google Colab 上完整实现

一句话看懂

Liquid AI 的 LFM2 模型微调完整教程：在 Google Colab 上使用 QLoRA、SFT 和 DPO，全程开源工具，无需昂贵硬件。

详细发生了什么

MarkTechPost 发布了一篇详细的教程，指导开发者如何在 Google Colab 上对 Liquid AI 的 LFM2 模型进行微调。教程覆盖了完整的开源工作流：

1. 加载基础模型：使用 4-bit 量化（QLoRA）加载 LFM2-1.2B 模型，降低 GPU 内存占用。
2. 监督微调（SFT）：使用 HuggingFaceTB/smoltalk 数据集，通过 TRL 的 SFTTrainer 和 PEFT 的 LoRA 配置，训练轻量级适配器。
3. 适配器合并：将 SFT 训练的 LoRA 适配器合并回基础模型，保存为完整检查点。
4. 直接偏好优化（DPO）：使用自定义的偏好数据（chosen/rejected 对），通过 DPOTrainer 进一步优化模型响应偏好。
5. 最终合并与保存：再次合并 DPO 适配器，得到最终模型。

教程中所有代码均可在 Colab 免费 GPU（如 T4）上运行，训练步数仅 60 步（SFT）和 40 步（DPO），总耗时约 30 分钟。

中文圈视角

对中文开发者来说，这篇教程的实用价值很高，原因如下：

• 低成本入门：无需本地高端显卡，Colab 免费 GPU 即可运行。国内用户可通过 Colab 访问，但可能需要稳定网络（建议自备梯子）。
• 平替方案：如果 LFM2 在国内访问不便，可替换为国产模型如 Qwen2.5-1.5B 或 DeepSeek-1.3B，代码只需修改 MODEL_ID 和数据集格式。
• 场景适用：教程中的 SFT+DPO 流程适用于中文对话优化、客服回复、内容生成等场景。国内类似工具有 ModelScope 的 SWIFT 框架，但本教程更侧重端到端实操。
• 盲点提示：中文社区中，QLoRA+DPO 的完整教程较少，多数只讲 SFT。这篇教程展示了如何用 DPO 对齐偏好，对提升模型回答质量很有参考价值。

几条值得记住的细节

• 教程使用 LFM2-1.2B 模型，4-bit 量化后显存需求约 6GB，Colab T4 可流畅运行。
• SFT 训练 60 步，DPO 训练 40 步，总训练时间约 30 分钟。
• DPO 阶段使用 3 条偏好数据重复 20 次（共 60 条），beta 值设为 0.1。
• 最终模型保存为完整检查点，可直接用于推理或部署。
• 所有代码均开源，依赖库版本要求：transformers>=4.55, trl>=0.12, peft>=0.13。

一句话总结

如果你有 Colab 账号和 30 分钟，就能用这套开源流程微调出一个对齐偏好的 LFM2 模型，适合快速验证想法。