Skip to content
陌阡
搜索文章
K
Main Navigation
工程实战
学习笔记
行业前瞻
GitHub宝藏
浮生札记
关于
更多
AI知识库
AI视频
AI工具
主题
栏目导航
回到顶部
学习笔记
模型量化与选型
GGUF、AWQ、GPTQ 量化方案对比,不同场景下的模型选型策略。
共 1 篇
全部
AI 工具上手
Git 与命令行
本地大模型部署
大模型 API 调用
结构化输出与 Function Calling
Prompt 工程
模型量化与选型
多模态技术入门
Markdown 学习笔记
Docker 学习笔记
Node.js 学习笔记
Python 学习笔记
HTTP 与 JSON
TypeScript
SQL 与数据库
LangChain 学习笔记
RAG 系统从零搭建
LangGraph 学习笔记
MCP 协议
VibeCoding 学习笔记
FastAPI 学习笔记
Flask 速成
Redis 缓存与队列
向量数据库
AI 对话前端
部署上线与成本控制
Transformer 原理
AI Agent 科普
AI Agent 前端学习笔记
工具类笔记
其他(Other)
09-21
模型量化选型实战:GGUF / AWQ / GPTQ 到底怎么选
显存装不下、量化后更慢、精度悄悄掉了——这三个坑几乎每个部署大模型的人都踩过。本文从显存怎么算讲起,给出 GGUF/AWQ/GPTQ 的选型边界与一套可复用的估算方法。
#模型部署
#私有化部署
#vLLM
本文阅读
--
次
|
全站访问
--
次
|
访客
--
人