服务

基于PHP+FFmpeg+OpenCC+Ollama本地大模型搭建全自动视频字幕翻译系统，Windows离线批量处理MKV视频，自动提取字幕、繁简转换、上下文AI翻译、字幕自动换行，硬压字幕输出MP4，全程不上传素材，保护视频隐私，适合自媒体、教学视频本地化汉化。

本文详细介绍如何在Ubuntu 26.04 LTS系统上，利用Ollama和Open WebUI完全离线运行ChatGPT风格的AI助手。无需API密钥或互联网连接，即可在本地CPU上部署Llama 3.2等小型模型。教程涵盖安装步骤、模型选择及浏览器界面配置，确保数据隐私且无持续成本，适合日常代码解释与文本处理任务。

本文详细介绍 Ollama 常见问题解决方案，涵盖 macOS、Windows 及 Linux 系统的模型升级方法、GPU 兼容性检查与配置。内容包括如何通过环境变量调整上下文窗口大小、在 Docker 中启用 GPU 加速、禁用云端功能以保护隐私、设置代理服务器访问模型、优化 Flash Attention 与 K/V 缓存量化以减少内存占用，以及管理并发请求和模型加载策略。

运行服务器是一款轻量级 LLM 推理 HTTP 服务器，提供 OpenAI 兼容 API 及内置 Web UI。它支持多用户并行解码、连续批处理、Prompt caching 加速以及嵌入、重排序和多模态模型服务。此外，还具备推测解码功能和灵活的模型路由模式，适合快速部署与高效推理需求。

本文详细介绍在 Linux 系统上安装 Ollama 的完整步骤。涵盖手动安装、旧版本升级处理、AMD GPU 与 ROCm 驱动配置、ARM64 架构支持及可选的 CUDA 驱动安装。同时提供创建启动服务、自定义环境变量、查看日志以及卸载程序的详细指南，助您高效部署本地大模型环境。

llama.cpp 是一款高性能库，让您在笔记本或服务器上轻松运行大型语言模型。配套的 Llama app 提供极简桌面体验，支持 Mac 和 Windows。项目支持 GGUF 格式模型，内置 Web 界面及 OpenAI 兼容 API，适合本地部署、终端实验及快速开发，无需复杂配置即可启动服务。

本文详细介绍 Ollama 常见故障的排查方法。涵盖如何在不同操作系统（Mac、Linux、Windows）及容器中查看日志，解决 NVIDIA 和 AMD GPU 识别失败问题，处理 Linux noexec 限制，以及修复 Docker cgroup 管理导致的 GPU 切换异常。同时提供强制指定 LLM 库、升级驱动等优化建议，帮助用户快速定位并解决运行难题。

本指南介绍如何快速入门 Llama 应用，从安装到使用终端或 Web UI 与模型对话。支持下载 Gemma-4 E4B 等 GGUF 模型，提供 CLI 命令行交互及 HTTP API 服务化功能。内置聊天界面兼容 OpenAI 端点，支持图像、文本、音频多模态输入，并可根据设备内存自动调整配置，适合开发者快速部署与使用。

本文介绍 API 服务器功能，支持多种格式暴露 REST API。提供 OpenAI 和 Anthropic 兼容端点，涵盖 Chat Completions、Embeddings 及原生补全等。支持结构化输出、工具调用、多模态输入处理，并包含推理模型与性能监控指标，适用于各类 AI 应用场景。

本文介绍如何使用 Llama App 与各类智能体配对，包括 Pi、Codex/ChatGPT 等。提供本地模型服务配置指南，建议选用支持 32k tokens 以上上下文的优质模型。涵盖安装步骤、服务器 URL 设置及重启应用等操作，助力开发者高效构建智能体编程环境。