不用联网、不用付费,在自己的 Windows 电脑上免费跑开源大模型。跟着这篇傻瓜教程,15 分钟搞定本地 AI —— 私密、免费、随时可用。
在电脑本地跑大模型(Local LLM)有三大好处:
① 完全免费:Ollama、LM Studio 等工具和 Qwen、Llama、DeepSeek 等模型全部开源免费,不用订阅。
② 隐私安全:对话数据留在你本地,不上传任何服务器,敏感问题也能放心问。
③ 离线可用:模型下载完成后,断网也能用,随时随地。
访问 Ollama 官网(ollama.com),点 Download,选择 Windows 版本,下载约 700MB 的安装程序。下载完成后双击运行,一路点 Next / Install 即可,无需任何配置。
Ollama 是当前最流行的本地大模型运行工具(GitHub 179k+ Star),查看 Ollama 详情。
按 Win + R,输入 cmd 回车打开命令行。输入以下命令启动一个中英文都出色的开源模型(推荐 Qwen2.5 千问):
ollama run qwen2.5:7b
第一次运行会自动下载模型(约 4.7GB,取决于网速),下载完成后即可在该窗口直接和 AI 对话。
ollama run qwen2.5:3b(约 2GB),16GB 内存电脑无压力。在命令行执行 ollama pull 模型名 即可下载任意模型:
| 模型 | 参数 | 中文 | 推荐配置 |
|---|---|---|---|
| qwen2.5:3b | 3B | 优 | 8GB 内存 |
| qwen2.5:7b | 7B | 优 | 16GB 内存 / 6GB 显存 |
| deepseek-r1:7b | 7B | 优 | 16GB 内存(推理强) |
| llama3.2:3b | 3B | 一般 | 8GB 内存(英文强) |
命令行虽好用,但多数人更喜欢图形界面。用 Open WebUI 接入 Ollama,就能在浏览器里使用类似 ChatGPT 的对话界面:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main
启动后浏览器打开 http://localhost:3000,注册个本地账号,选择已下载的模型即可开始使用。更轻量的替代是 Lobe Chat(无需 Docker)。
可以。通过 Ollama、LM Studio 等免费工具,Windows 10/11 电脑无需联网就能跑 7B~14B 参数的开源大模型。入门配置建议 16GB 内存。
最低 8GB 内存可跑 3B 小模型,推荐 16GB 内存跑 7B。有 6GB 以上显存的 NVIDIA 显卡更快,完全没显卡也能用 CPU 跑,只是速度慢一些。
完全免费。Ollama、LM Studio 等工具是开源软件,模型权重来自开源社区(Qwen、Llama、DeepSeek 等),无需订阅,数据不出电脑。
能。模型下载完成后完全离线可用,断网也能对话。适合隐私敏感场景或无法访问外网的用户。
支持。Ollama 可以运行 Qwen(千问)、DeepSeek、Yi 等国产开源模型,中文效果出色。