三星研究院介绍LittleBit-2，以潜在几何对齐改进亚1比特大模型压缩

三星研究院于2026年8月4日发布技术博客，介绍大语言模型压缩方法LittleBit-2。该方法已在ICML 2026展示，目标是在平均每个参数不足1比特的条件下，降低模型存储需求，同时尽量保留模型表现。这是8月发布的研究进展，并非9月1日当天发生的新事件；其当前意义在于提供了三星研究团队对极低比特模型压缩路线的最新说明。

博客指出，大模型的内存占用仍是部署障碍。以700亿参数模型为例，FP16格式大约需要140GB显存，即使完全压缩至1比特，仍约需15GB，因而对不少边缘设备和消费级设备依然过大。平均每个参数低于1比特的压缩，正是LittleBit系列试图处理的问题。

三星研究院此前提出的LittleBit采用低秩二值架构，把权重矩阵分解为两个二值潜在因子，并配合浮点缩放参数。研究团队称，通过控制低秩因子的秩，该架构可将压缩率降至每个参数0.1比特。训练过程使用量化感知训练和知识蒸馏，初始二值因子则来自截断奇异值分解结果的符号。

不过，原始LittleBit在1比特工作点没有超过研究团队引用的OneBit基线。博客给出的Llama-2 7B示例中，两者困惑度分别为9.08和8.36。研究团队将这一差距归因于“潜在几何失配”：标准奇异值分解产生的向量较为尖锐且高度相干，信息集中在少数异常坐标，而大量数值接近零。这种分布不利于符号二值化，因为接近零的数值容易因微小扰动改变符号，异常值也会影响共享缩放参数对动态范围的估计。

LittleBit-2没有更换原有架构，而是改进初始化。其核心包括内部潜在旋转和联合迭代量化Joint-ITQ，用于让潜在因子更接近二值超立方体的对角方向，并形成更适合量化的双峰分布。三星研究院称，这一几何预处理不会增加推理阶段的额外开销。

按照博客披露的结论，LittleBit-2在Llama-2和Llama-3实验中覆盖1至0.1比特区间，并达到研究团队所称的最新最佳结果，在部分设置下匹配或超过领先的1比特基线。不过，官方页面提供的是研究团队对方法和实验的介绍；该材料没有证明LittleBit-2已经进入三星产品，也没有给出消费设备部署规模、商业效果或真实业务环境中的长期表现。因此，目前应将其视为一项模型压缩研究成果，而非已经完成产品采用的证据。