Ollama 本地部署与 OpenAI 兼容指南

安装 Ollama 命令行工具

使用官方安装脚本（Linux）

bash
展开代码
curl -fsSL https://ollama.com/install.sh | sh

模型存储路径

默认路径：

• Linux/Mac: ~/.ollama/models
• Windows: C:\Users\<用户名>\.ollama\models

自定义路径：

bash
展开代码
export OLLAMA_MODELS="/mnt/jfs6/model"  # Linux/Mac
$env:OLLAMA_MODELS="C:\your\custom\path"  # Windows

下载模型

bash
展开代码
ollama pull glm-4.6:cloud
ollama pull qwen2.5:7b

启动服务完整流程

bash
展开代码
# 1. 设置自定义模型路径（如果需要）
export OLLAMA_MODELS="/mnt/jfs6/model"

# 2. 启动服务
ollama serve &

# 3. 等待服务启动（约10秒）
sleep 10

# 4. 测试服务
curl http://localhost:11434/api/tags

# 5. 运行模型
ollama run glm-4.6:cloud

OpenAI 兼容 API

Ollama 0.1.14+ 原生支持 OpenAI API 格式。

Python 调用

python
展开代码
from openai import OpenAI

client = OpenAI(
    base_url='http://localhost:11434/v1',
    api_key='ollama'  # 任意值
)

response = client.chat.completions.create(
    model="llama2",
    messages=[{"role": "user", "content": "Hello!"}]
)

print(response.choices[0].message.content)

curl 调用

bash
展开代码
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama2",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

支持的端点

• /v1/chat/completions - 聊天补全
• /v1/completions - 文本补全
• /v1/embeddings - 嵌入向量
• /v1/models - 模型列表