My Board

大型语言模型 (LLM) 的复杂性和规模不断增长，部署它们带来了巨大的挑战。

LLM 提炼作为该问题的一个强有力的解决方案出现，它能够将知识从更大、更复杂的语言模型（“老师”）转移到更小、更高效的版本（“学生”）。

人工智能领域的一个最新例子是从GPT-4o （老师）提炼出GPT-4o mini （学生） 。

这个过程可以比作老师向学生传授智慧，其目标是提炼出基本知识，而不受更大模型复杂性的累赘影响。让我们了解更多！

开发人工智能应用程序
学习使用 OpenAI API 构建 AI 应用程序。
什么是 LLM 提炼？
LLM 提炼是一种旨在复制大型语言模型的性能，同时减少其规模和计算需求的技术。

想象一下一位经验丰富的教授与新学生分享专业知识。教授代表 哥伦比亚赌博数据 教师模型，传授复杂的概念和见解，而学生模型则学习以更简化和有效的方式模仿这些教学。

这个过程不仅保留了教师的核心能力，而且还优化了学生的学习速度，使其能够更快、更灵活地应用。

为什么 LLM 提炼很重要？
大型语言模型的规模和计算要求不断增加，阻碍了其广泛采用和部署。高性能硬件和不断增加的能耗通常会限制这些模型的可访问性，尤其是在资源受限的环境中，例如移动设备或边缘计算平台。

LLM 提炼通过生成更小、更快的模型来解决这些挑战，使其成为跨更广泛的设备和平台集成的理想选择。

这项创新不仅使高级人工智能的使用变得民主化，而且还支持高度重视速度和效率的实时应用。通过实现更易于访问和可扩展的人工智能解决方案，LLM 提炼有助于推进人工智能技术的实际应用。

LLM 提炼的工作原理：知识转移过程
LLM 提炼过程涉及多种技术，可确保学生模型在更高效运行的同时保留关键信息。在这里，我们探索使这种知识转移有效的关键机制。

师生范式
师生范式是LLM 提炼的核心，是推动知识转移过程的基础概念。在这种设置中，更大、更先进的模型将其知识传授给更小、更轻量的模型。

教师模型通常是最先进的语言模型，拥有丰富的训练和计算资源，是丰富的信息来源。另一方面，学生模型则旨在通过模仿教师的行为和内化其知识来向教师学习。

学生模型的主要任务是复制老师的输出，同时保持较小的规模和较低的计算要求。此过程涉及学生观察和学习老师对各种输入的预测、调整和响应。

通过这样做，学生可以达到相当的表现和理解水平，使其适合在资源受限的环境中部署。

蒸馏技术
各种提炼技术被用于将知识从教师转移到学生。这些方法确保学生模型不仅能有效学习，而且还能保留教师模型的基本知识和能力。以下是 LLM 提炼中使用的一些最突出的技术。

知识蒸馏（KD）
LLM 蒸馏中最突出的技术之一是知识蒸馏 (KD)。在 KD 中，学生模型使用教师模型的输出概率（称为软目标）以及基本事实标签（称为硬目标）进行训练。

软目标提供了教师预测的细微视图，提供了可能输出的概率分布，而不是单一的正确答案。这些附加信息有助于学生模型捕捉教师回答中蕴含的微妙模式和复杂知识。

通过使用软目标，学生模型可以更好地理解老师的决策过程，从而实现更准确、更可靠的表现。这种方法不仅保留了老师的关键知识，而且还使学生的训练过程更加顺畅、有效。

该图展示了知识提炼的通用师生框架。

知识提炼的通用框架。来源

其他蒸馏技术
除了 KD 之外，还有其他几种技术可以改进 LLM 提炼过程：

数据增强：这涉及使用教师模型生成额外的训练数据。通过创建更大、更具包容性的数据集，学生可以接触更广泛的场景和示例，从而提高其泛化性能。
中间层提炼：这种方法不只是关注最终输出，而是将知识从教师模型的中间层转移到学生模型。通过从这些中间表示中学习，学生模型可以捕获更详细、更结构化的信息，从而提高整体表现。
多教师提炼：学生模型可以从多教师模型中学习。通过汇总来自不同教师的知识，学生可以获得更全面的理解和更高的稳健性，因为它整合了不同的观点和见解。