📚

模型量化与选型

1 篇

GGUF、AWQ、GPTQ 量化方案对比，不同场景下的模型选型策略。

• 09-21模型量化选型实战：GGUF / AWQ / GPTQ 到底怎么选显存装不下、量化后更慢、精度悄悄掉了——这三个坑几乎每个部署大模型的人都踩过。本文从显存怎么算讲起，给出 GGUF/AWQ/GPTQ 的选型边界与一套可复用的估算方法。模型部署私有化部署vLLM