推测解码

本文介绍 llama.cpp 的命令行界面与终端前端功能。支持交互式聊天、模型试验及多模态输入，包括图像和音频处理。可调整采样参数控制生成过程，利用 GPU 优化性能，并支持推测解码加速推理。提供完整命令参考与高级设置指南。

运行服务器是一款轻量级 LLM 推理 HTTP 服务器，提供 OpenAI 兼容 API 及内置 Web UI。它支持多用户并行解码、连续批处理、Prompt caching 加速以及嵌入、重排序和多模态模型服务。此外，还具备推测解码功能和灵活的模型路由模式，适合快速部署与高效推理需求。

本文深入解析大语言模型推理的两个核心阶段：预填充与解码。预填充阶段处理提示词，受计算能力限制；解码阶段生成答案，受内存带宽限制。文章详细探讨了影响各阶段性能的关键因素，如上下文长度、模型大小及硬件瓶颈。同时介绍了 KV Cache 机制如何加速注意力运算，并分析了 TTFT、TPOT 等用户体验指标及其优化策略，旨在帮助开发者提升推理效率与吞吐量。