Context length 是模型在内存中可访问的最大 token 数量。

Ollama 根据 VRAM 默认使用以下 context lengths：

  • < 24 GiB VRAM: 4k context
  • 24-48 GiB VRAM: 32k context
  • >= 48 GiB VRAM: 256k context

需要大 context 的任务，例如网页搜索、agents 和 coding tools，应至少设置为 64000 tokens。

设置 context length

设置更大的 context length 会增加运行模型所需的内存量。请确保有足够的可用 VRAM 来增加 context length。

Cloud models 默认设置为最大 context length。

App

在 Ollama app 的设置中，将滑块调整到所需的 context length。

Ollama app 中的 Context length

CLI

如果无法编辑 Ollama 的 context length，也可以在启动 Ollama 服务时更新该值。

OLLAMA_CONTEXT_LENGTH=64000 ollama serve

检查已分配的 context length 和模型 offloading

为了获得最佳性能，请使用模型的最大 context length，并避免将模型 offload 到 CPU。使用 ollama ps 验证 PROCESSOR 下的 split 情况。

ollama ps

NAME             ID              SIZE      PROCESSOR    CONTEXT    UNTIL
gemma4:latest    c6eb396dbd59    9.6 GB    100% GPU     131072     2 minutes from now