【Ollama 中文手册】Linux
本文详细介绍在 Linux 系统上安装 Ollama 的完整步骤。涵盖手动安装、旧版本升级处理、AMD GPU 与 ROCm 驱动配置、ARM64 架构支持及可选的 CUDA 驱动安装。同时提供创建启动服务、自定义环境变量、查看日志以及卸载程序的详细指南,助您高效部署本地大模型环境。
关于软件更新的技术文章和开发文档。
本文详细介绍在 Linux 系统上安装 Ollama 的完整步骤。涵盖手动安装、旧版本升级处理、AMD GPU 与 ROCm 驱动配置、ARM64 架构支持及可选的 CUDA 驱动安装。同时提供创建启动服务、自定义环境变量、查看日志以及卸载程序的详细指南,助您高效部署本地大模型环境。
本文详细介绍 Ollama 对各类硬件的 GPU 加速支持情况。涵盖 Nvidia CUDA、AMD ROCm、Apple Metal 及 Vulkan 等后端配置,提供不同显卡型号(如 RTX 40/50 系列、Radeon RX)的驱动版本要求与兼容性列表。同时讲解多卡选择、CPU 回退设置及 Linux 容器权限等高级用法,助您优化本地大模型运行性能。
本文详细介绍 Windows 版 Ollama 的安装、配置与使用指南。涵盖系统要求、NVIDIA 及 AMD 显卡驱动支持、环境变量设置、模型存储路径修改、API 访问示例以及故障排除方法,帮助用户在 Windows 10/11 上高效部署和运行本地大语言模型。
本文详细介绍 Ollama 常见问题解决方案,涵盖 macOS、Windows 及 Linux 系统的模型升级方法、GPU 兼容性检查与配置。内容包括如何通过环境变量调整上下文窗口大小、在 Docker 中启用 GPU 加速、禁用云端功能以保护隐私、设置代理服务器访问模型、优化 Flash Attention 与 K/V 缓存量化以减少内存占用,以及管理并发请求和模型加载策略。
本文介绍 Ollama 支持的工具调用功能,包括单次、并行及多轮工具调用模式。涵盖 Agent 循环机制与流式传输处理技巧,并提供 Python SDK 和 JavaScript 库的安装及使用指南,帮助用户高效集成函数作为工具 schema。
本文介绍 Ollama 的上下文长度设置及其与 VRAM 内存的关系。根据显存大小,默认支持 4k、32k 及 256k token 上下文。针对网页搜索、智能体及代码工具等需大上下文任务,建议至少配置 64000 tokens。同时提供通过 App 滑块或 CLI 启动参数调整的方法,并强调避免模型卸载至 CPU 以保障最佳性能。
本文详细介绍 macOS 上 Ollama 的安装步骤与系统要求,涵盖 Sonoma 版本兼容性、CPU/GPU 支持及文件空间规划。提供更改模型存储位置、处理权限请求等实用技巧,并包含故障排除指南与完整卸载方法,助您高效部署大语言模型环境。
本文详细介绍 Ollama 常见故障的排查方法。涵盖如何在不同操作系统(Mac、Linux、Windows)及容器中查看日志,解决 NVIDIA 和 AMD GPU 识别失败问题,处理 Linux noexec 限制,以及修复 Docker cgroup 管理导致的 GPU 切换异常。同时提供强制指定 LLM 库、升级驱动等优化建议,帮助用户快速定位并解决运行难题。