简体中文 | English

📖 Documentation   |   🤗 Hugging Face   |   🤖 ModelScope   |   💬 WeChat (微信) |   🫨 Discord

• 最新进展
• 主要特性
• 支持模型
• 如何使用
  • 安装 AngelSlim
  • 快速开始
  • 部署与测试
• Benchmark
• 许可协议
• 引用
• 技术交流

• [25/09/01] 我们支持了Hunyuan-MT-7B翻译开源模型的FP8量化；支持了Eagle3的Torch推理及Benchmark评测流程；支持了FLUX的量化、Cache；支持了Seed-OSS模型量化压缩。
• [25/08/06] 我们支持了Hunyuan 0.5B/1.8B/4B/7B和Qwen2.5VL 3B/7B/32B/72B的FP8、INT4量化，支持了DeepSeek-R1/V3和Kimi-K2模型的FP8-Static、W4A8-FP8量化。我们还开源了Hunyuan 1.8B/4B/7B系列模型的Eagle3权重。
• [25/07/04] 我们支持了Hunyuan/Qwen2.5/Qwen3/DeepSeek-R1-Distill-Qwen等模型的量化，包含INT8、FP8、INT4等算法。 我们还开源了Qwen3系列模型的Eagle3权重。

Coming soon：

• Diffusion模型压缩支持
• 投机采样新算法发布

• 高度集成化：本工具将主流的压缩算法集成到工具，开发者可一键式调用，具有很好的易用性。
• 持续算法创新：本工具除了集成工业界使用最广的算法，还持续自研更好的压缩算法，并且会陆续开源。
• 追求极致性能：在模型压缩流程、压缩算法部署方面，本工具持续端到端优化，例如单卡GPU可量化Qwen3-235B和Deepseek-R1。

目前已支持文生文任务Hunyuan-Dense、Hunyuan-MoE、Qwen3-Dense、Qwen3-MoE、Qwen2.5、DeepSeek-R1蒸馏Qwen模型、QwQ等系列的主要模型：

目前已开源Qwen3和Hunyuan系列模型的Eagle3权重。

推荐使用pip直接安装最新稳定版AngelSlim：

pip install angelslim

也可以选择克隆代码仓库后，以可编辑的方式从源代码安装：

cd AngelSlim && python setup.py install

更详细的安装说明可参考安装文档。

完成安装AngelSlim后，您可以通过以下脚本快速开始，完成Qwen3-1.7B模型的静态FP8量化：

• 一键式启动

  python3 tools/run.py -c configs/qwen3/fp8_static/qwen3-1_7b_fp8_static.yaml

  该示例将会加载HugggingFace模型， 使用config配置的dataset数据进行激活值校准，量化产出模型权重.

• 源码启动

  对Qwen3-1.7B完成动态FP8量化：

  from angelslim.engine import Engine
  
  slim_engine = Engine()
  # Prepare model
  slim_engine.prepare_model(model_name="Qwen", model_path="Qwen/Qwen3-1.7B",)
  # Initialize compressor
  slim_engine.prepare_compressor("PTQ", default_method="fp8_dynamic")
  # Compress model
  slim_engine.run()
  # Save compressed model
  slim_engine.save("./output")

详情请参考快速开始文档。

完成安装AngelSlim后，您可以通过以下脚本快速开始，完成Eagle3的Pytorch性能测试：

python3 tools/spec_benchmark.py \
    --base-model-path /path/to/base/model \
    --eagle-model-path /path/to/eagle/model \
    --model-id your_model_id \
    --mode both

详情请参考快速开始文档。

如果需要通过transformers加载量化模型，请在量化模型配置的global中设置deploy_backend: huggingface，或者直接手动将量化产出模型路径下config.json配置中的key ignored_layers改为ignore。

测试transformers加载量化模型离线推理：

python deploy/offline.py $MODEL_PATH

其中 MODEL_PATH 为量化产出模型路径。

支持通过以下推理框架部署 OpenAI 兼容的 API 服务：

vLLM

vLLM 服务启动脚本，建议版本vllm>=0.8.5.post1，部署MOE INT8量化模型需要vllm>=0.9.2。

bash deploy/run_vllm.sh $MODEL_PATH

SGLang

SGLang 服务启动脚本，建议版本 sglang>=0.4.6.post1：

bash deploy/run_sglang.sh $MODEL_PATH

通过 OpenAI 格式 接口发起请求：

bash deploy/openai.sh $MODEL_PATH

使用 lm-evaluation-harness 评估量化模型精度，建议版本lm-eval>=0.4.8：

bash deploy/lm_eval.sh $MODEL_PATH

详细操作指南请参阅部署文档。

下面只展示了部分模型的效果测试情况，完整Benchmark可以参考Benchmark文档

Hunyuan-Instruct的BF16、FP8、INT4-GPTQ、INT4-AWQ在OlympiadBench、AIME 2024、DROP、GPQA-Diamond上的评测结果如下：

Qwen3系列模型的BF16、FP8-Static、FP8-Dynamic、INT8-Dynamic、INT4-GPTQ、INT4-AWQ在CEVAL、MMLU、GSM8K、HUMANEVAL上的评测结果如下：

Qwen2.5VL系列模型的BF16、FP8-Static、FP8-Dynamic、INT4-GPTQ、INT4-AWQ在MMMU_VAL、DocVQA_VAL、ChartQA_TEST上的评测结果如下：

DeepSeek-R1-0528模型的FP8-Block-Wise、W4A8-FP8在GPQA Diamond、AIME 2024、SimpleQA、LiveCodeBench上的评测结果如下：

备注：

• 以上评测结果使用TRT-LLM框架部署测试5次求平均
• 评测时使用的超参如下:

{
 "top_k": 20,
 "top_p": 0.6,
 "temperature": 0.7,
 "output_seq_len": 32768,
 "max_input_seq_len": 16384
}

其他模型的BF16、FP8-Static、FP8-Dynamic、INT4-GPTQ、INT4-AWQ在CEVAL、MMLU、GSM8K上的评测结果如下：

Qwen3系列的Eagle3模型在MT-bench/HunmanEval/GSM8K/Alpaca上的加速结果如下：

Hunyuan系列的Eagle3模型在MT-bench/HunmanEval/GSM8K/Alpaca上的加速结果如下：

本项目的代码依照 License for AngelSlim 协议开源。

@software{AngelSlim2025,
    title={{AngelSlim}},
    author={Tencent AngelSlim Project Contributors},
    year={2025},
    month={7},
    url={https://github.com/Tencent/AngelSlim},
}

• AngelSlim正在快速迭代更新中，后续会推出更多的功能，有问题或建议欢迎通过GitHub Issues给我们提issue，或者加入微信技术交流群。