企业官网建设流程全解析

商业网站案例,网络服务器可提供的常见服务有什么、什么、什么和什么服务,江汉路做网站的公司,望野的翻译总结 LLM 4 位量化是在设备上部署的一项重要技术#xff0c;因为它可以大大减少推理过程中的内存使用量。然而#xff0c;众所周知#xff0c;训练过程中出现的 “异常值”#xff08;极端激活值#xff09;会大大降低量化的性能。传统的方法是在训练后处理这个问题#…总结LLM 4 位量化是在设备上部署的一项重要技术因为它可以大大减少推理过程中的内存使用量。然而众所周知训练过程中出现的 “异常值”极端激活值会大大降低量化的性能。传统的方法是在训练后处理这个问题例如通过训练后量化PTQ但这些方法并没有从根本上解决这个问题而是将异常值视为不可避免的。在本研究中我们提出了解决这一问题的新视角离群值安全预训练OSP训练框架它由 Muong 优化方法、单尺度 RMS 归一化SSNORM和可学习的嵌入式投影EMBPROJ组成。与传统模型相比OSP 通过在万亿令牌规模上训练 1.4B 参数模型显著提高了量化容忍度减少了性能下降。建议的方法所提出的离群值安全预训练OSP是一种预训练方法旨在从根本上防止离群值。该框架由三个部分组成。首先Muon 优化方法与 Adam 和 AdaFactor 等传统的对角预条件优化方法不同它使用了一种正交梯度矩阵的算法。这可以防止激活集中于特定通道特权基础并实现所有通道的平等学习。其次Single-Scale RMSNormSSNORM消除了传统的按通道缩放对所有维度使用单一缩放因子防止了归一化带来的偏差。这使他们能够减少训练过程中的不稳定性同时也避免了对激活的过度抑制。第三嵌入投影EMBPROJ使用可学习的投影矩阵均匀化激活分布以防止嵌入层产生局部异常值只有嵌入层使用 Adam 进行训练其他参数使用 Muon。此外为了实现实用性和计算效率我们还采用了一种分离式优化策略即只使用 Adam 对嵌入层进行训练而对其他参数则使用 Muon。实验实验是在一个 14 亿参数的 LLM 上进行的使用 1,000 亿和 1 万亿代币进行可扩展训练。首先利用峰度过大量化异常值并观察其演变情况。使用传统 Adam 训练的模型显示出峰度超过 1000 的离群值而使用 OSP 的模型则继续保持 0.04 的极低值。为了验证 4 位量化的性能比较了 10 个基准如 ARC、MMLU、GSM8k 等的平均得分Adam 训练的模型得分 26.5而 OSP 模型得分 35.7。此外当与训练后量化PTQ方法结合使用时OSP 模型始终保持较低的复杂度并显示出强大的量化性能。此外我们还分析了注意力机制中的 注意力下沉 现象这种现象在异常值消失后依然存在表明两者是由不同的机制造成的。这证明了 OSP 作为一种优化的量化训练方法的有效性。