【Llama 中文手册】API 服务器
本文介绍 API 服务器功能,支持多种格式暴露 REST API。提供 OpenAI 和 Anthropic 兼容端点,涵盖 Chat Completions、Embeddings 及原生补全等。支持结构化输出、工具调用、多模态输入处理,并包含推理模型与性能监控指标,适用于各类 AI 应用场景。
关于插件统计的技术文章和开发文档。
本文介绍 API 服务器功能,支持多种格式暴露 REST API。提供 OpenAI 和 Anthropic 兼容端点,涵盖 Chat Completions、Embeddings 及原生补全等。支持结构化输出、工具调用、多模态输入处理,并包含推理模型与性能监控指标,适用于各类 AI 应用场景。