zgba 站群
中文工具 · 首页 / ← English

Windows 本地跑大模型教程(Ollama 一步步图解)

不用联网、不用付费,在自己的 Windows 电脑上免费跑开源大模型。跟着这篇傻瓜教程,15 分钟搞定本地 AI —— 私密、免费、随时可用。

🎯 适合谁? 想用 AI 但担心隐私、无法访问外网、或不想订阅付费 AI 服务的 Windows 用户。全程免费开源,数据不出你自己电脑。

为什么要在 Windows 本地跑大模型?

在电脑本地跑大模型(Local LLM)有三大好处:

完全免费:Ollama、LM Studio 等工具和 Qwen、Llama、DeepSeek 等模型全部开源免费,不用订阅。

隐私安全:对话数据留在你本地,不上传任何服务器,敏感问题也能放心问。

离线可用:模型下载完成后,断网也能用,随时随地。

第一步:下载并安装 Ollama

1下载 Windows 版安装包

访问 Ollama 官网(ollama.com),点 Download,选择 Windows 版本,下载约 700MB 的安装程序。下载完成后双击运行,一路点 Next / Install 即可,无需任何配置。

Ollama 是当前最流行的本地大模型运行工具(GitHub 179k+ Star),查看 Ollama 详情

第二步:启动本地模型并开始对话

2打开命令行,运行一条命令

Win + R,输入 cmd 回车打开命令行。输入以下命令启动一个中英文都出色的开源模型(推荐 Qwen2.5 千问):

ollama run qwen2.5:7b

第一次运行会自动下载模型(约 4.7GB,取决于网速),下载完成后即可在该窗口直接和 AI 对话。

💡 显存不够跑 7B?试试 ollama run qwen2.5:3b(约 2GB),16GB 内存电脑无压力。
⚠️ 没有 NVIDIA 显卡也能跑,用 CPU 即可,只是速度稍慢。推荐 llama.cpp 做 CPU 极致加速。

第三步:常用模型速查表

在命令行执行 ollama pull 模型名 即可下载任意模型:

模型参数中文推荐配置
qwen2.5:3b3B8GB 内存
qwen2.5:7b7B16GB 内存 / 6GB 显存
deepseek-r1:7b7B16GB 内存(推理强)
llama3.2:3b3B一般8GB 内存(英文强)

第四步:装个漂亮的图形界面(Open WebUI)

3让本地 AI 拥有 ChatGPT 式界面

命令行虽好用,但多数人更喜欢图形界面。用 Open WebUI 接入 Ollama,就能在浏览器里使用类似 ChatGPT 的对话界面:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

启动后浏览器打开 http://localhost:3000,注册个本地账号,选择已下载的模型即可开始使用。更轻量的替代是 Lobe Chat(无需 Docker)。

更多本地大模型工具推荐

🚀 Ollama — 一键运行/管理本地模型 🖥️ LM Studio — 图形化界面,新手友好 ⚡ llama.cpp — CPU 极致性能推理 🌐 Open WebUI — ChatGPT 式本地界面 💬 Lobe Chat — 免 Docker 的聊天前端 🎯 GPT4All — 一键安装的桌面应用

👉 查看完整「本地大模型工具合集」(74 个开源项目)

Windows 本地跑大模型常见问题

Windows 可以本地跑大模型吗?

可以。通过 Ollama、LM Studio 等免费工具,Windows 10/11 电脑无需联网就能跑 7B~14B 参数的开源大模型。入门配置建议 16GB 内存。

Windows 本地跑大模型需要什么配置?

最低 8GB 内存可跑 3B 小模型,推荐 16GB 内存跑 7B。有 6GB 以上显存的 NVIDIA 显卡更快,完全没显卡也能用 CPU 跑,只是速度慢一些。

本地跑大模型免费吗?

完全免费。Ollama、LM Studio 等工具是开源软件,模型权重来自开源社区(Qwen、Llama、DeepSeek 等),无需订阅,数据不出电脑。

Windows 离线能用大模型吗?

能。模型下载完成后完全离线可用,断网也能对话。适合隐私敏感场景或无法访问外网的用户。

Ollama 支持中文吗?

支持。Ollama 可以运行 Qwen(千问)、DeepSeek、Yi 等国产开源模型,中文效果出色。