第 3 章:装 Ollama,跑通第一个模型
这一章的目标很具体:二十分钟内,让本地模型回答你第一句话。
学习目标
- 在 Windows / macOS / Linux 上各用一条最省事的路径装好 Ollama
- 确认后台服务真的起来了,而不是"装完就以为好了"
- 会拉模型、看模型清单、删模型
- 遇到五个最常见的报错,知道该改哪里
3.1 先选一条安装路径
| 系统 | 推荐方式 | 命令 / 操作 |
|---|---|---|
| Windows | 官网安装包 | 下载 OllamaSetup.exe,双击,默认选项即可 |
| macOS | 官网 App 或 Homebrew | brew install ollama,或下载 .dmg 拖进 Applications |
| Linux | 官方脚本 | curl -fsSL https://ollama.com/install.sh | sh |
三种方式装完的效果一样:得到一个 ollama 命令,和一个自动在后台运行的服务。
验证命令只有一句:
ollama --version
# ollama version is 0.x.xWindows 装完如果提示"不是内部或外部命令",先关掉当前终端再重开。PATH 是安装时改的,已经打开的终端读不到新值。
3.2 服务到底起没起
Ollama 是"命令行工具 + 后台服务"两件事。很多"连不上"的问题,都是服务没起。
# 看服务在不在,最直接的办法是问它有哪些模型
curl http://localhost:11434/api/tags正常会返回一段 JSON,models 数组可能为空(还没拉模型),但有响应就说明服务活着。
如果连不上,手动起一次:
ollama serve它会占住当前终端,日志直接打在屏幕上——第一次装完建议这样跑一次,能看到 GPU 有没有被识别。
默认监听地址是 127.0.0.1:11434——只有本机能访问。要让局域网其他机器调用,见 3.6 节。
3.3 拉模型:一次下载,之后离线可用
# 7B 中文模型,约 4.7 GB
ollama pull qwen2.5:7b
# 做 RAG 用的向量模型,约 274 MB
ollama pull nomic-embed-text拉取就是下载权重文件,网速决定时间。国内如果卡在 0%,多半是到 ollama.com 的连接问题,换网络环境或配代理再试。
常用管理命令:
ollama list # 已装了哪些模型、多大
ollama ps # 哪些模型正在内存里
ollama rm qwen2.5:7b # 删掉(会释放磁盘)
ollama show qwen2.5:7b # 看这个模型的参数、模板、量化类型ollama show 特别有用:它会告诉你这个模型的量化格式(比如 q4_K_M)、上下文长度、参数量。第 4 章挑模型时全靠它。
3.4 在命令行里问出第一句话
ollama run qwen2.5:7b进入交互模式,直接打字提问,/bye 退出。几个内置命令:
| 命令 | 作用 |
|---|---|
/bye | 退出对话 |
/clear | 清空上下文,重新开始 |
/? | 看所有内置命令 |
也可以不进交互模式,直接问一句:
ollama run qwen2.5:7b "用一句话解释什么是 RAG"第一次跑会等几秒到几十秒——模型要从磁盘读进显存。之后同一个模型在内存里,响应就快了。默认闲置 5 分钟后卸载,这个时间可以用 OLLAMA_KEEP_ALIVE 调。
3.5 五个最常见的报错
| 报错 / 现象 | 原因 | 处理 |
|---|---|---|
ollama: command not found | PATH 没生效 | 重开终端;仍不行就重装 |
bind: address already in use | 已经有一个服务在跑 | 不用再 serve,直接用;要重启先结束旧进程 |
curl: (7) Failed to connect | 服务没起,或监听地址不是本机 | ollama serve 看日志;检查是否只监听 127.0.0.1 |
pull 一直 0%,或中途失败 | 网络到 ollama.com 不通 | 换网络/代理;已下载的部分会续传 |
加载时非常慢,随后 ollama ps 显示 CPU/GPU 混合 | 显存不够,offload 了 | 回第 2 章:缩上下文或换小模型 |
还有一类不报错但很怪的现象:回答是乱码或重复。多半是拉错了模型标签(比如拉了个 base 模型而不是 instruct 模型)。用 ollama show 看模板里有没有对话格式,没有就换带 -instruct 或官方对话版本的标签。
3.6 两个该早点改的默认值
模型存哪。 默认在用户目录下(Windows 在 C:\Users\<你>\.ollama\models),C 盘紧张时一定要改:
# Linux / macOS
export OLLAMA_MODELS=/data/ollama/models
# Windows(永久生效)
setx OLLAMA_MODELS "D:\ollama\models"谁能访问。 默认只有本机。同一局域网的其他机器要调用:
OLLAMA_HOST=0.0.0.0:11434 ollama serve改成
0.0.0.0就等于把模型接口暴露给整个局域网。只在内网、可信环境这么做;公网必须加反向代理和鉴权。
本章小结
| 要点 | 说明 |
|---|---|
| 安装 | Win 装包 / mac Homebrew 或 App / Linux 官方脚本 |
| 验证 | ollama --version 看命令,curl /api/tags 看服务 |
| 拉模型 | ollama pull qwen2.5:7b,之后完全离线可用 |
| 对话 | ollama run 交互,或直接跟一句问题 |
| 高频报错 | PATH、端口占用、连不上、下载卡住、offload 变慢 |
| 两个默认值 | OLLAMA_MODELS 改存储位置,OLLAMA_HOST 改监听范围 |
下一章
模型能跑了,接下来是挑:同样是"7B",为什么有的 4 GB 有的 14 GB?q4_K_M 这一串字母到底在说什么?下一章把这套命名拆开,并给出中文场景的选型建议。