Ollama

Cline 支持使用 Ollama 在本地运行模型。这种方法提供了隐私保护、离线访问和潜在的成本降低。它需要一些初始设置和足够强大的计算机。由于目前消费级硬件的状态，不建议在 Cline 中使用 Ollama，因为对于一般的硬件配置，性能可能会很差。

网站： https://ollama.com/

设置 Ollama

1. 下载并安装 Ollama： 从 Ollama 网站 获取适用于您操作系统的 Ollama 安装程序，并按照其安装指南进行操作。确保 Ollama 正在运行。您通常可以通过以下命令启动它：

   ollama serve
   

2. 下载模型： Ollama 支持各种各样的模型。可用模型列表可以在 Ollama 模型库 中找到。一些推荐用于编码任务的模型包括：

   • codellama:7b-code（一个不错的、较小的起点）
   • codellama:13b-code（提供更好的质量，更大的尺寸）
   • codellama:34b-code（提供更高的质量，非常大）
   • qwen2.5-coder:32b
   • mistralai/Mistral-7B-Instruct-v0.1（一个可靠的通用模型）
   • deepseek-coder:6.7b-base（对编码有效）
   • llama3:8b-instruct-q5_1（适用于一般任务）

   要下载模型，打开您的终端并执行：

   ollama pull <model_name>
   

   例如：

   ollama pull qwen2.5-coder:32b
   

3. 配置模型的上下文窗口： 默认情况下，Ollama 模型通常使用 2048 个 token 的上下文窗口，这对于许多 Cline 请求可能不够。建议至少使用 12,000 个 token 以获得不错的结果，32,000 个 token 是理想的。要调整这个，您需要修改模型的参数并将其保存为新版本。

   首先，加载模型（以 qwen2.5-coder:32b 为例）：

   ollama run qwen2.5-coder:32b
   

   一旦模型在 Ollama 交互式会话中加载，设置上下文大小参数：

   /set parameter num_ctx 32768
   

   然后，用新名称保存这个配置的模型：

   /save your_custom_model_name
   

   （用您选择的名称替换 your_custom_model_name。）

4. 配置 Cline：

   • 打开 Cline 侧边栏（通常由 Cline 图标指示）。
   • 点击设置齿轮图标（⚙️）。
   • 选择”ollama”作为 API 提供商。
   • 输入您在上一步中保存的模型名称（例如，your_custom_model_name）。
   • （可选）如果 Ollama 在不同的机器或端口上运行，调整基础 URL。默认是 http://localhost:11434。
   • （可选）在 Cline 的高级设置中配置模型上下文大小。这有助于 Cline 有效地管理其与您自定义 Ollama 模型的上下文窗口。

提示和注意事项

• 资源需求： 在本地运行大型语言模型对系统资源要求很高。确保您的计算机满足所选模型的要求。
• 模型选择： 尝试各种模型，找出最适合您特定任务和偏好的模型。
• 离线能力： 下载模型后，即使没有互联网连接，您也可以使用该模型的 Cline。
• Token 使用跟踪： Cline 跟踪通过 Ollama 访问的模型的 token 使用情况，让您监控消耗。
• Ollama 的官方文档： 有关更详细的信息，请查阅官方的 Ollama 文档。