Skip to content

第 3 章:装 Ollama,跑通第一个模型 ​

这一章的目标很具体:二十分钟内,让本地模型回答你第一句话。


学习目标 ​

  • 在 Windows / macOS / Linux 上各用一条最省事的路径装好 Ollama
  • 确认后台服务真的起来了,而不是"装完就以为好了"
  • 会拉模型、看模型清单、删模型
  • 遇到五个最常见的报错,知道该改哪里

3.1 先选一条安装路径 ​

系统推荐方式命令 / 操作
Windows官网安装包下载 OllamaSetup.exe,双击,默认选项即可
macOS官网 App 或 Homebrewbrew install ollama,或下载 .dmg 拖进 Applications
Linux官方脚本curl -fsSL https://ollama.com/install.sh | sh

三种方式装完的效果一样:得到一个 ollama 命令,和一个自动在后台运行的服务。

验证命令只有一句:

bash
ollama --version
# ollama version is 0.x.x

Windows 装完如果提示"不是内部或外部命令",先关掉当前终端再重开。PATH 是安装时改的,已经打开的终端读不到新值。


3.2 服务到底起没起 ​

Ollama 是"命令行工具 + 后台服务"两件事。很多"连不上"的问题,都是服务没起。

bash
# 看服务在不在,最直接的办法是问它有哪些模型
curl http://localhost:11434/api/tags

正常会返回一段 JSON,models 数组可能为空(还没拉模型),但有响应就说明服务活着。

如果连不上,手动起一次:

bash
ollama serve

它会占住当前终端,日志直接打在屏幕上——第一次装完建议这样跑一次,能看到 GPU 有没有被识别。

默认监听地址是 127.0.0.1:11434——只有本机能访问。要让局域网其他机器调用,见 3.6 节。


3.3 拉模型:一次下载,之后离线可用 ​

bash
# 7B 中文模型,约 4.7 GB
ollama pull qwen2.5:7b

# 做 RAG 用的向量模型,约 274 MB
ollama pull nomic-embed-text

拉取就是下载权重文件,网速决定时间。国内如果卡在 0%,多半是到 ollama.com 的连接问题,换网络环境或配代理再试。

常用管理命令:

bash
ollama list              # 已装了哪些模型、多大
ollama ps                # 哪些模型正在内存里
ollama rm qwen2.5:7b     # 删掉(会释放磁盘)
ollama show qwen2.5:7b   # 看这个模型的参数、模板、量化类型

ollama show 特别有用:它会告诉你这个模型的量化格式(比如 q4_K_M)、上下文长度、参数量。第 4 章挑模型时全靠它。


3.4 在命令行里问出第一句话 ​

bash
ollama run qwen2.5:7b

进入交互模式,直接打字提问,/bye 退出。几个内置命令:

命令作用
/bye退出对话
/clear清空上下文,重新开始
/?看所有内置命令

也可以不进交互模式,直接问一句:

bash
ollama run qwen2.5:7b "用一句话解释什么是 RAG"

第一次跑会等几秒到几十秒——模型要从磁盘读进显存。之后同一个模型在内存里,响应就快了。默认闲置 5 分钟后卸载,这个时间可以用 OLLAMA_KEEP_ALIVE 调。


3.5 五个最常见的报错 ​

报错 / 现象原因处理
ollama: command not foundPATH 没生效重开终端;仍不行就重装
bind: address already in use已经有一个服务在跑不用再 serve,直接用;要重启先结束旧进程
curl: (7) Failed to connect服务没起,或监听地址不是本机ollama serve 看日志;检查是否只监听 127.0.0.1
pull 一直 0%,或中途失败网络到 ollama.com 不通换网络/代理;已下载的部分会续传
加载时非常慢,随后 ollama ps 显示 CPU/GPU 混合显存不够,offload 了回第 2 章:缩上下文或换小模型

还有一类不报错但很怪的现象:回答是乱码或重复。多半是拉错了模型标签(比如拉了个 base 模型而不是 instruct 模型)。用 ollama show 看模板里有没有对话格式,没有就换带 -instruct 或官方对话版本的标签。


3.6 两个该早点改的默认值 ​

模型存哪。 默认在用户目录下(Windows 在 C:\Users\<你>\.ollama\models),C 盘紧张时一定要改:

bash
# Linux / macOS
export OLLAMA_MODELS=/data/ollama/models

# Windows(永久生效)
setx OLLAMA_MODELS "D:\ollama\models"

谁能访问。 默认只有本机。同一局域网的其他机器要调用:

bash
OLLAMA_HOST=0.0.0.0:11434 ollama serve

改成 0.0.0.0 就等于把模型接口暴露给整个局域网。只在内网、可信环境这么做;公网必须加反向代理和鉴权。


本章小结 ​

要点说明
安装Win 装包 / mac Homebrew 或 App / Linux 官方脚本
验证ollama --version 看命令,curl /api/tags 看服务
拉模型ollama pull qwen2.5:7b,之后完全离线可用
对话ollama run 交互,或直接跟一句问题
高频报错PATH、端口占用、连不上、下载卡住、offload 变慢
两个默认值OLLAMA_MODELS 改存储位置,OLLAMA_HOST 改监听范围

下一章 ​

模型能跑了,接下来是挑:同样是"7B",为什么有的 4 GB 有的 14 GB?q4_K_M 这一串字母到底在说什么?下一章把这套命名拆开,并给出中文场景的选型建议。

本文阅读--次|全站访问--次|访客--人