在本文中，我们将学习如何在 Ubuntu 26.04 LTS 上离线运行类似 ChatGPT 的 AI。
几个月前，我身处一家没有 Wi-Fi 的酒店，盯着半写好的脚本，希望能有个 AI 帮我调试。就在那一刻，我终于坐下来在我的 Ubuntu 机器上搭建了一个完全离线的 AI 聊天机器人。它不需要 API 密钥，也不按计费令牌收费，甚至不需要互联网连接。
如果你一直好奇如何运行自己的本地 ChatGPT 风格助手，本指南将详细介绍我是如何做到的。
我使用 Ollama 来运行模型，并使用 Open WebUI 为其提供合适的聊天界面，所有操作均完全在我的硬件上运行。
为什么要离线运行 AI？
几个诚实的原因，不分先后：
隐私
你输入的任何内容都不会离开你的机器。如果你粘贴的是客户代码、内部文档或任何敏感信息，这一点至关重要。
无持续成本
一旦模型下载完成，就没有计量费用。如果你想，一天问它一千个问题也无妨。
无需互联网即可工作
无论是火车、飞机、远程工作地点，还是 ISP 网络不稳定的一天，这个助手都毫不在意。
运行自己的推理堆栈能让你比阅读任何关于它们的资料更深入地了解这些模型的实际工作原理。
我想诚实地说明权衡之处。在笔记本电脑 CPU 上运行的 3-4B 参数模型，在处理复杂推理问题时无法与 GPT-4 抗衡。但对于日常任务——起草邮件、总结文本、解释代码、头脑风暴——这些小型模型已经变得真正出色，并且可以在中等配置的硬件上舒适运行。
你需要什么
- Ubuntu 26.04 LTS (Resolute Raccoon)
- 至少 8GB 内存（16GB 更佳，以便未来运行更大的模型）
- 大约 10GB 的可用磁盘空间
- 一个终端和约 20 分钟时间
你不需要 GPU。本指南中的所有操作均可仅通过 CPU 运行，不过如果你恰好拥有 NVIDIA 显卡，Ollama 会自动使用它，体验会明显更流畅。
步骤 1：安装 Ollama
Ollama 是实际在本地运行 AI 模型的工具。可以把它看作引擎。它负责下载和管理模型，并提供一种简单的方式与之交互，既可以通过终端，也可以通过其他工具（如 Open WebUI）接入的 API。
打开终端并运行：
curl -fsSL https://ollama.com/install.sh -o install.sh
在运行任何从互联网管道传输的安装脚本之前，最好先查看其内容。
less install.sh
确认无误后，运行它：
sh install.sh
这将把 Ollama 安装为后台服务。你可以用以下命令确认它正在运行：
systemctl status ollama
你应该看到它显示为 active (running)。默认情况下，Ollama 监听 localhost:11434。如果它未运行，请使用此命令启动 Ollama：
sudo systemctl start ollama
步骤 2：选择一个小型且通用的模型
这是最有趣的部分。对于日常离线聊天，你不需要庞大的模型。3B 到 4B 参数范围的模型在普通笔记本电脑 CPU 上能在速度和实用性之间达到最佳平衡点。
我尝试过几个扎实且真正通用的选项：
Llama 3.2 3B
Meta 的小型模型，通用指令遵循能力强，下载大小约为 2GB。我的首选起点。
Gemma 3 4B
Google 的模型，能很好地处理多种语言，并且也是多模态的（不仅能看文本，还能看图片）。
Qwen3 4B
阿里巴巴的模型，如果你需要在多种语言间工作或希望在此规模下获得更强的推理能力，它尤为出色。
在本教程中，我将使用 Llama 3.2 3B，因为它快速、轻量，是一个良好的基准。使用以下命令拉取它：
ollama pull llama3.2:3b
这将下载并将模型存储在本地。完成后，你就可以直接从终端与它对话：
ollama run llama3.2:3b
试着输入类似以下内容：
Explain what a systemd service unit file does, in plain English.
在我的 i5 笔记本上，即使不需要任何 GPU，响应也能以舒适的阅读速度流式返回。
我强烈建议你尝试 Gemma 4。它是少数几种能够在消费级硬件上舒适运行的最强大的 LLM 模型之一。
ollama run gemma3:4b
在任何时候输入 /bye 即可退出聊天会话。
步骤 3：使用 Page Assist 浏览器扩展获得合适的界面
终端适合快速测试，但很快就会让人厌倦。Page Assist 是一个浏览器扩展，为你提供基于浏览器的聊天界面，其体验非常接近 ChatGPT 的对话历史、多聊天窗口、模型切换，甚至支持某些模型的文件上传。该扩展适用于 Chrome 和 Firefox。
添加浏览器扩展后，只需在你想要与本地 AI 聊天机器人 Ollama 对话时点击该扩展图标。在界面中，你只需选择所需的模型并开始提问即可。
这一切完全在你的机器上进行，数据不会发送到任何地方。进入后，你下载的 Ollama 模型（Llama 3.2 3B、Gemma 3 4B，或其他你拉取的模型）应自动出现在顶部的模型选择器中。
步骤 4：提供一些提示并评估响应
这里才是日常真正有用的地方。以下是一些我经常对小型本地模型使用的提示：
快速代码解释
逐行解释这个 bash 脚本：
find . -name "*.log" -mtime +7 -exec rm {} \;起草简短内容
写一条礼貌的两行 Slack 消息，要求队友在今天结束前审查我的拉取请求。
总结你粘贴的文本
将以下变更日志总结为非技术经理能理解的 3 个要点……
头脑风暴
给我 5 个 Linux dotfiles 管理脚本的替代名称，要简短易记。
像这样的小型模型可能无法撰写一篇完美的研究论文，但对于这类日常辅助，它绰绰有余。最棒的是，它永远不会离开你的笔记本电脑。
关于管理模型的说明
随着实验的进行，你的磁盘上会积累越来越多的模型。检查已安装的模型：
ollama list
并删除不再使用的模型，因为这些下载会累积占用空间：
ollama rm gemma3:4b
总结
有了 Ollama 处理推理，加上 Open WebUI 赋予它合适的界面，我现在拥有一个真正可用的离线 AI 助手，运行在我的 Ubuntu 26.04 机器上。
如果你是第一次尝试本地 LLM 设置，只需拉取 Llama 3.2 3B 并运行一个提示。这只需要十分钟，看着一个真正有能力的 AI 在没有后台网络请求的情况下回应你，这种满足感是无声却真实的。
