使用 Ollama 构建电子元件列表分类器
本文介绍如何使用 Ollama 和 Llama 3.2 模型构建本地 AI 应用,实现电子设备列表自动分类。通过 Python 脚本读取原始数据、设计提示词并与本地大模型交互,将未分类物品按类别排序输出至终端及文件。项目完全离线运行,无需云端或 API 密钥,具备高隐私性,适合自动化日常任务并灵活调整模型与提示词。
关于500错误的技术文章和开发文档。
本文介绍如何使用 Ollama 和 Llama 3.2 模型构建本地 AI 应用,实现电子设备列表自动分类。通过 Python 脚本读取原始数据、设计提示词并与本地大模型交互,将未分类物品按类别排序输出至终端及文件。项目完全离线运行,无需云端或 API 密钥,具备高隐私性,适合自动化日常任务并灵活调整模型与提示词。
基于PHP+FFmpeg+OpenCC+Ollama本地大模型搭建全自动视频字幕翻译系统,Windows离线批量处理MKV视频,自动提取字幕、繁简转换、上下文AI翻译、字幕自动换行,硬压字幕输出MP4,全程不上传素材,保护视频隐私,适合自媒体、教学视频本地化汉化。
本文详细介绍 Ollama 对各类硬件的 GPU 加速支持情况。涵盖 Nvidia CUDA、AMD ROCm、Apple Metal 及 Vulkan 等后端配置,提供不同显卡型号(如 RTX 40/50 系列、Radeon RX)的驱动版本要求与兼容性列表。同时讲解多卡选择、CPU 回退设置及 Linux 容器权限等高级用法,助您优化本地大模型运行性能。
本文详细介绍 Ollama 常见故障的排查方法。涵盖如何在不同操作系统(Mac、Linux、Windows)及容器中查看日志,解决 NVIDIA 和 AMD GPU 识别失败问题,处理 Linux noexec 限制,以及修复 Docker cgroup 管理导致的 GPU 切换异常。同时提供强制指定 LLM 库、升级驱动等优化建议,帮助用户快速定位并解决运行难题。
本文介绍 System One 决策模型,支持文本分类、是非问答及评分功能。涵盖 Nimble、Tev1、Clef 等模型,其中 Clef 可处理图像判断。文章详解本地运行无需 API key 的设置方法,包括状态输入、标签与等级选择逻辑。同时说明云端模型调用方式、请求限制如 token 窗口、图片规格及用量计费标准,帮助用户高效部署与使用决策系统。
本文介绍 Ollama 语音模型 Phonon 的使用方法。支持流式传输音频,实现边生成边播放。可配置不同声音,通过终端或 API 调用生成 WAV 格式音频。适用于 macOS、Linux 和 Windows 系统,支持将音频保存至文件或重定向输出,适合服务器环境及远程收听需求。
本文介绍 API 服务器功能,支持多种格式暴露 REST API。提供 OpenAI 和 Anthropic 兼容端点,涵盖 Chat Completions、Embeddings 及原生补全等。支持结构化输出、工具调用、多模态输入处理,并包含推理模型与性能监控指标,适用于各类 AI 应用场景。
本文详细介绍 Ollama 常见问题解决方案,涵盖 macOS、Windows 及 Linux 系统的模型升级方法、GPU 兼容性检查与配置。内容包括如何通过环境变量调整上下文窗口大小、在 Docker 中启用 GPU 加速、禁用云端功能以保护隐私、设置代理服务器访问模型、优化 Flash Attention 与 K/V 缓存量化以减少内存占用,以及管理并发请求和模型加载策略。
本文介绍如何在桌面应用和编码代理中使用 Ollama。支持 macOS、Windows 及 Linux 系统,提供本地与云端两种运行模式。教程涵盖 API 密钥创建、模型下载、终端启动命令以及 Claude Code、Codex CLI 等集成工具的配置方法,助您快速构建 AI 应用程序。
运行服务器是一款轻量级 LLM 推理 HTTP 服务器,提供 OpenAI 兼容 API 及内置 Web UI。它支持多用户并行解码、连续批处理、Prompt caching 加速以及嵌入、重排序和多模态模型服务。此外,还具备推测解码功能和灵活的模型路由模式,适合快速部署与高效推理需求。