Upstage披露Solar Mini技术路径：以10.7B参数模型探索轻量化

韩国人工智能公司Upstage于2024年1月25日发布文章，介绍预训练大语言模型Solar Mini。该页面虽于2026年9月1日被重新检索，但原文署期仍为2024年1月25日，未显示同期更新，因此它是技术背景材料，不是2026年的新品发布或最新性能公告。

Upstage称，Solar Mini包含Solar 10.7B及Solar 10.7B-Instruct等版本。公司表示，Solar Mini曾于2023年12月登上Hugging Face开放大模型排行榜榜首，以较少参数提供可与GPT-3.5比较的回答，速度为后者的2.5倍。原文未说明完整测试条件，也没有截至2026年的复测结果，这些数字只能视为公司当时披露的基准。

模型采用32层Llama 2结构，并以Mistral 7B预训练权重初始化。Upstage将扩展方法称为“深度扩展”（Depth Up-scaling，DUS），由深度方向扩展与持续预训练组成。公司称，这一路线无需像混合专家模型那样增加复杂模块或动态机制，可直接兼容Hugging Face等常用框架，并适用于Transformer架构。

官方材料也承认，模型完成深度扩展后性能一度低于基础模型，需要持续预训练恢复表现。之后，模型接受面向韩语问答格式的指令微调，再通过对齐训练，使输出接近人类或更强人工智能系统的偏好。文章没有披露各阶段的数据规模、算力投入和完整训练成本。

在应用层面，Upstage称Solar Mini适合与检索增强生成系统结合，利用外部内容提升输出精确性与相关性。公司还介绍版面分析能力，可从PDF、PNG和JPG文件中提取表格与图形，按阅读顺序序列化内容，并转换为可供大模型处理的HTML输入。

Upstage表示，Solar Mini当时以Apache 2.0许可证公开，并提供Hugging Face及Poe入口。但原文没有提供企业部署数量、实际采用规模、商业收入、生产环境效果或独立安全评估，不能据此证明其已获得广泛应用，也不能推断确定的商业结果。