三星研究院推出 NanoQuant，探索大模型低于 1 比特的权重量化

三星研究院于2026年8月3日发布技术文章，介绍大语言模型训练后量化方法 NanoQuant。其目标是在不进行端到端再训练的情况下，将模型权重压缩至1比特或更低，以减少模型存储和推理所需资源。

权重量化通过降低参数精度提升大模型服务效率。三星研究院指出，GPTQ、AWQ等4比特方案已获得广泛产业采用，但继续压缩到二值或低于二值的水平仍有明显困难。传统二值训练后量化虽然理论上以1比特表示权重，却需要保存缩放因子、分组参数或稀疏掩码，使实际存储成本升至每个权重2至3比特。量化感知训练能够实现1比特压缩，但通常需要多张GPU和数十亿训练词元。

NanoQuant采用低秩二值分解，将原始权重矩阵近似表示为两个二值矩阵、行列缩放向量及其组合。官方文章称，在选择适当秩后，二值元素与浮点元数据的总存储量可降至每个权重1比特或以下，缩放参数带来的额外开销相对于二值矩阵较小。

这一方法面临的核心问题是二值分解属于非凸离散优化，可能的组合随矩阵规模快速增长。NanoQuant使用128个序列组成的小型校准数据集，并把初始化质量作为算法重点：如果初始解距离局部最优点较近，后续有限的校准与优化才有机会降低权重重构误差。

整个流程分为三个阶段。第一阶段执行全局、面向海森矩阵信息的校准，通过前向和反向计算收集各线性层的输入、输出激活统计，再利用带收缩正则化的克罗内克分解近似曲率构建对角预条件器。第二阶段按顺序进行分块重构，并为二值矩阵寻找较精确的初始值。第三阶段仅调整缩放参数，对完成量化的模型进行全局对齐。

三星研究院给出的结果是，NanoQuant可在单张NVIDIA H100 GPU上用13小时完成700亿参数模型压缩，存储量缩小24倍，并使模型能够在8GB显存的消费级GPU上运行推理。官方文章未提供实际产品部署、商业采用规模或长期运行效果，因此这些数字应视为其技术实验结果。

这项工作的现实意义在于，把超低比特量化的资源门槛从大规模重新训练转向较小校准集和单卡处理。如果相关结果能在不同模型与任务上保持一致，低显存设备承载更大参数模型将获得一种新的工程路径；目前官方材料聚焦方法设计与实验表现。