模型微调

本指南详细介绍了如何使用 Sentence Transformers 训练和微调多向量嵌入模型。内容涵盖后期交互机制、ColBERT 架构以及在高级 RAG 管道中的实现步骤。

深入探讨在微调 9B 到 35B MoE 视觉语言模型（VLM）过程中，使用监督微调（SFT）和 GRPO 强化学习遭遇的真实踩坑记录与解决方案。

Nvidia 的最新研究揭示了人工智能开发范式的转变：结构化的执行框架（Harness）与针对性的微调能够让较小的模型在复杂的智能体任务中超越庞大的前沿模型。

深入分析 Unsloth 如何从一个微调库演变为全能桌面应用，通过动态 GGUF 量化技术在单块显卡上实现 744B 参数模型（如 GLM-5.2）的本地运行。

深入探讨大语言模型（LLM）落地生产的三种核心方法：提示词工程、检索增强生成（RAG）和微调。本文将揭示为什么用微调来存储事实是一个错误，并提供一套帮助开发者降低成本、提升效率的决策框架。

专家 André Dias Moreira Prol 深入分析企业级 AI 实施中微调（Fine-tuning）与检索增强生成（RAG）的权衡，涵盖成本、可审计性及技术实现方案。

深入探讨如何利用 NVIDIA NeMo Automodel 和 Hugging Face Diffusers 扩展生成式 AI 训练，涵盖 Flux.1 和 Stable Diffusion 模型的实现策略、性能基准及优化技巧。

深入探讨构建可靠 AI 智能体所需的数据架构，涵盖轨迹数据、工具调用数据集以及针对高性能 LLM 的评估框架。

打破显存迷思，利用 QLoRA 和 Unsloth 技术，仅需一杯咖啡的成本即可在消费级显卡上完成 Llama 3.1 等大模型的专业级微调。

本技术指南详细介绍了如何利用 NVIDIA NeMo AutoModel 优化和扩展 Transformers 模型的微调流程，填补了 Hugging Face 生态与企业级分布式训练之间的空白。

本文详细介绍了如何利用 QLoRA 技术将 7B 参数模型的显存占用从 15GB 压缩至 5.4GB，从而在 NVIDIA T4 等 16GB 显存的消费级 GPU 上实现高效微调。

深入探讨参数高效微调 (PEFT) 的演进，对比 LoRA 与 DoRA、GaLore 及 VeRA 等新兴技术，为现代大语言模型寻找最佳微调策略。