llama.cpp 允许您在笔记本电脑、台式机或服务器上以最小的设置和先进的性能运行大型语言模型。
Llama app 是一款基于 llama.cpp 构建的极简主义桌面应用，让您只需点击几下即可下载并运行模型以及与之聊天。Llama app 同时支持 Mac 和 Windows。
如果您不想使用 Llama app，而是希望在终端中与模型聊天，或者启动一个带有内置 Web 界面的 OpenAI 兼容服务器，您可以使用 llama cli 或 llama serve：
# 在终端中聊天 llama cli -hf ggml-org/gemma-4-e4b-it-GGUF:Q4_0 # 提供 OpenAI 兼容 API + Web UI llama serve -hf ggml-org/gemma-4-e4b-it-GGUF:Q4_0
llama cli 非常适合实验和终端使用，而 llama serve 则暴露了一个功能齐全的 Web UI。
工作原理
llama.cpp 运行存储在 GGUF 文件格式中的模型。GGUF 是一个单一文件，打包了您需要的所有内容：模型权重、分词器（tokenizer）、元数据。成千上万个现成的 GGUF 模型可在 Hugging Face 上获取。
在此核心之上，该项目提供了面向用户的工具：llama cli 用于终端，llama serve 用于提供 HTTP API 和 Web UI，此外还有用于基准测试、量化和评估模型的实用程序。