技术教程型｜零基础部署指南：如何在你自己的硬件上跑一个大模型

分类： 技术教程 · 新手入门
关键词： 大模型本地部署、Ollama教程、部署开源大模型、边缘计算入门
目标读者： 无AI工程经验的IT人员、想自学本地AI的开发者、技术好奇心强的职场人

前言：为什么你应该学会这个技能？

2026年了。

如果你是一个后端开发、运维、IT管理员、或者只是对AI有强烈好奇心——在自己硬件上跑一个大模型已经是一个堪比"会写SQL"的基础技能。

因为：

会这个技能 = 不吃云API商的亏（你懂了才知道哪家贵、哪家不值）
会这个技能 = 面试加分项（越来越多的公司要内部落地AI了）
会这个技能 = 真正的AI理解（用ChatGPT网页和跑本地模型是完全不同的认知层级）

好消息是：零基础也能上手，一小时内搞定。

坏消息是：市面上的教程，要么过于硬核劝退人，要么过于简单只教了皮毛。

这篇，我们走中间路线——从零开始，用最直白的方式，带你完成"本地跑大模型"的全流程。

一、准备清单（先看看你需要什么）

硬件要求

你想跑的模型大小	最少内存	推荐配置	能干嘛
2B-3B参数（轻量）	8GB	16GB	简单问答、文本摘要、分类任务
7B-8B参数（主流）	16GB	32GB	日常办公助手、代码辅助、翻译
13B-14B参数（进阶）	32GB	64GB + GPU	复杂推理、专业领域、高质量长文

💡 实用建议： 90%的个人和企业场景，7B-8B模型完全够用。别被"参数越大越好"这种东西忽悠了——大模型慢、贵、调起来麻烦，你大概率用不上。

如果你是团队使用，推荐一台专用的AI边缘计算设备（比如铠盒AI Box），配置已经调优过，插电即用，比你自己攒机省心太多。

软件准备

我们要用的三件套（全部免费开源）：

Ollama — 模型运行引擎（负责下载和运行模型，类似"模型界的Docker"）
Open WebUI — 网页版交互界面（和ChatGPT一样的体验，但后端是你自己的机器）
Docker — 容器化运行环境（让Open WebUI跑在隔离环境中，装一次永久用）

二、实操步骤（一步步来，别跳）

步骤1：安装 Ollama

Windows： 去 ollama.com/download 下载安装包 → 双击 → 一路Next → 完成。

Mac： 同上。

Linux：

curl -fsSL https://ollama.com/install.sh | sh

安装完成后，打开终端/PowerShell，验证一下：

ollama --version

看到版本号就成功了。

步骤2：下载你的第一个模型

推荐从 Llama 3 入手（Meta官方开源，中文英文都行）：

ollama pull llama3:8b

开始下载（约4.7GB，视网速等几分钟到十几分钟）。

🔁 备选模型推荐： - 中文场景为主 → ollama pull qwen2:7b（阿里通义千问开源版，中文最强之一） - 写代码为主 → ollama pull deepseek-coder-v2（DeepSeek代码模型） - 想体验最强开源 → ollama pull deepseek-v3（但要求高配置）

下载好之后，直接试一下：

ollama run llama3:8b

出现 >>> 提示符，就说明模型在跑了。输入问题试试。

步骤3：装个漂亮的Web界面（Open WebUI）

终端里敲命令太原始了。一个正经的Web界面是你的尊严。

首先装 Docker： 去 docker.com 下载 Docker Desktop → 安装 → 启动。

然后用一行命令启动 Open WebUI：

docker run -d -p 3000:8080 \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

等半分钟，浏览器打开 http://localhost:3000 ——

你会看到一个和 ChatGPT 体验几乎一样的界面，但后端服务跑在你自己机器上，不联网也能用。

步骤4：创建账号，开始使用

第一次登录 Open WebUI，会提示你创建管理员账号（这是本地的，不会联网注册）。

创建好之后，左上角选择你下载好的模型（如 llama3:8b），就可以开始聊天了。

三、进阶：让你的AI更懂你的业务

现在你能本地跑模型了。但这只是60分——基础功能。

80分以上的水平，是让模型理解你的业务。

3.1 上传你的文档做知识库

Open WebUI 支持 RAG（检索增强生成）——直白说就是：

把你们的公司手册、产品说明、技术文档、客服话术塞进去，AI回答时自动查这些资料。

操作路径：左上角 Documents → 上传PDF/TXT/MD → 提问时勾选"Search Documents"。

举个例子： 你是做To B销售的，把你们的产品参数表、竞品对比表、报价单传进去。下次客户问"你们和某某品牌比有什么优势"，AI直接翻你的资料回答，不用你现编。

3.2 设系统提示词（System Prompt）

这个功能堪称"AI调教神器"。

在 Open WebUI 的 Settings → System Prompt 里，写下你的AI应该遵守的规则：

你是一个专业的IT技术支持顾问，服务于中小企业客户。
用简洁、不装逼的语言回答。不使用缩写，不假设对方知道术语。
每当你推荐任何配置或方案时，同时给出"为什么选这个"的理由。

保存后，你的AI从此就是你的形状。不再复读机，不再答非所问。

四、常见问题快速排雷

Q：为什么回答特别慢？

A： ① 模型太大，硬件吃不消 → 换7B或3B模型 ② 没用GPU加速 → 你的机器如果有显卡，Ollama通常自动检测并使用

Q：Ollama下载模型失败了？

A：网络问题，开代理（你懂的）或者换国内镜像源。或者直接用铠盒AI Box——出厂预装好了，不用你折腾网络。

Q：断电了模型还在吗？

A：在。Ollama下载的模型存在本地硬盘（Windows默认在 C:\Users\你的用户名\.ollama ），不删永远在。

Q：我能不能同时跑多个模型？

A：可以，但看内存够不够。同时跑两个7B模型，建议32GB以上内存。

五、写在最后：学完这一步，你比90%的人更懂AI

这篇教程覆盖了： - ✅ 选型（你知道7B和13B的区别） - ✅ 部署（你能在本地把模型跑起来） - ✅ UI（你有Web界面了） - ✅ RAG（你能让AI读你的业务文档） - ✅ 调教（你会设System Prompt改变AI行为）

这些能力，在你公司下次讨论"我们要不要上AI"的时候——你就是那个能动手做的人，而不是那个只能听懂一半的人。

📌 不想从头自己折腾硬件和软件？铠盒 AI Box 系列 出厂预装 Ollama + Open WebUI，插电即用，5分钟上手。点击 nizwo.com 了解详情。