一、模型概述与性能

1. 参数规模
   拥有 240 亿参数，注重推理效能和低时延，支持多任务语言理解（MMLU）。

2. 核心性能

• MMLU 准确率超 81%，优于 Llama 3.3 70B 和 Gemma-2-27B 等同级模型。

• 推理速度达每秒 150 个 tokens，比 Llama 3.3 70B 快 3 倍以上。

• 可在 32GB 内存的苹果 MacBook 或单颗 RTX 4090 GPU 上运行部署。

二、核心优势

1. 效率与成本
   在相同硬件条件下性能媲美 700 亿参数模型，计算成本大幅降低，支持量化压缩，适用于资源受限场景。

2. 训练方法
   未用强化学习和合成数据，遵循 “纯天然” 训练流程，生产流程早期且透明。

三、技术特点

1. 架构优化
   采用迭代训练技术提升性能，层数少，减少前向传递时间，降低时延。

2. 评估标准
   内部基准测试涵盖代码、数学、常识推理等领域，部分基于 GPT-4o 模型评估，如 Wildbench。

四、应用场景

1. 行业部署
   适用于金融、医疗、制造业等对低时延和高数据隐私有要求的场景，支持实时口语交互、函数调用、本地推理等任务。

2. 开发者友好
   通过 Apache 2.0 协议开源，允许自由修改和商业使用，已在 Hugging Face、Ollama 等平台发布，将扩展至 NVIDIA NIM、AWS SageMaker 等平台。

五、与竞品的对比

1. 性能对比
   在数学（MATH-500）和多语言任务中，表现与 DeepSeek-R1 和 GPT4o-mini 相近，推理速度远超 ChatGPT。

2. 开源生态
   与 Meta Llama、DeepSeek 等相互补充，推动开源推理模型发展。