导入模型-Ollama 中文手册-果果开发

从 Safetensors 权重导入模型

首先，创建一个 Modelfile，其中包含指向包含 Safetensors 权重的目录的 FROM 命令：

FROM /path/to/safetensors/directory

如果在与权重相同的目录中创建 Modelfile，可以使用命令 FROM .。

现在，在您创建 Modelfile 的目录中运行 ollama create 命令：

ollama create my-model

最后，测试模型：

ollama run my-model

Ollama 在导入过程中不会对 GGUF 模型进行量化。请先使用 llama.cpp 的 llama-quantize 等 GGUF 工具准备并量化它们。

要导入单文件 GGUF 模型，请创建一个包含以下内容的 Modelfile：

FROM /path/to/file.gguf

对于分片 GGUF 模型，保留原始的分片文件名，并使用匹配所有分片的通配符。

FROM /path/to/model-*.gguf

创建好 Modelfile 后，使用 ollama create 命令构建模型。

ollama create my-model

您可以通过将创建的模型推送到 ollama.com 来共享它，以便其他用户尝试使用。

首先，使用浏览器访问 Ollama Sign-Up 页面。如果您已经拥有账户，可以跳过此步骤。

Username 字段将作为您模型名称的一部分（例如 jmorganca/mymodel），因此请确保您对选择的用户名感到满意。

既然您已经创建了账户并登录，请访问 Ollama Keys Settings 页面。

按照页面上的说明确定 Ollama Public Key 的位置。

点击 Add Ollama Public Key 按钮，并将 Ollama Public Key 的内容复制粘贴到文本字段中。

要将模型推送到 ollama.com，首先确保其命名正确并包含您的用户名。您可能需要使用 ollama cp 命令复制模型以赋予其正确的名称。一旦您对模型名称满意，请使用 ollama push 命令将其推送到 ollama.com。

ollama cp mymodel myuser/mymodel
ollama push myuser/mymodel

模型推送完成后，其他用户可以通过使用以下命令拉取并运行它：

ollama run myuser/mymodel