自定义服务器URL指南

将Grambo连接到任何本地或远程AI服务 — LM Studio、Ollama、LiteLLM、vLLM或任何兼容OpenAI的端点

返回帮助中心

📖 概述

Grambo的自定义服务器URL功能允许您连接到任何公开OpenAI兼容API的AI服务。这包括LM Studio、Jan和手动配置的Ollama等本地AI工具，以及LiteLLM、vLLM和AnythingLLM等自托管或远程服务。您提供服务器URL、模型名称和可选的API密钥——Grambo处理其余部分。

📡 需要OpenAI格式：您连接的服务器必须以OpenAI聊天补全格式返回响应。大多数现代本地AI工具都原生支持此格式。

⚙️ 如何设置自定义服务器URL

按照以下步骤将Grambo连接到您的自定义AI服务器：

  1. 打开Grambo设置：在Mac上启动Grambo，点击"设置"按钮。
  2. 在"服务类型"下选择"自带密钥（BYOK）"。
  3. 从模型/提供商选项中选择"自定义服务器URL"。
  4. 输入您的服务器URL：粘贴您的AI服务器的基础URL，包括路径（例如/v1）：
    http://localhost:1234/v1
  5. 输入模型名称：输入您的服务器正在运行的确切模型名称（例如llama3、mistral、phi3）：
    llama3
  6. 输入您的API密钥（如果您的服务器需要）。如果您的服务器不需要身份验证，请输入none或留空：
    none
  7. 保存您的设置并开始使用您的自定义服务器使用Grambo。

✅ 完成！Grambo现在将向您的自定义服务器发送语法纠正请求。所有处理都通过您选择的AI服务进行。

🔌 兼容服务

任何实现OpenAI聊天补全API格式的服务都可以使用。以下是一些流行选项及其默认URL：

服务 默认URL API密钥
LM Studio http://localhost:1234/v1 可选
Ollama (manual) http://localhost:11434/v1 不需要
Jan http://localhost:1337/v1 可选
LiteLLM http://localhost:4000/v1 需要
vLLM http://localhost:8000/v1 可选
AnythingLLM http://localhost:3001/api/openai 需要
远程/自定义服务器 https://your-server.com/v1 各不相同

💡 提示：在Grambo中保存设置之前，请确保您的本地AI服务器正在运行。

📡 OpenAI响应格式要求

Grambo期望服务器使用标准OpenAI聊天补全格式响应。这与官方OpenAI API使用的格式相同，并且被本地AI工具广泛支持。

  • 端点：您的服务器必须在/chat/completions（相对于您提供的基础URL）接受POST请求
  • 请求格式：Grambo发送包含系统提示和用户文本的标准messages数组
  • 响应格式：服务器必须返回包含choices[0].message.content的JSON对象，其中包含纠正后的文本
  • 模型字段：您在设置中输入的模型名称作为model参数传递到请求正文中

⚠️ 兼容性：如果您的服务器不以OpenAI格式返回响应，Grambo将无法解析纠正。请查看您服务器的文档以确认它支持OpenAI聊天补全API。

❓ 常见问题

自定义服务器URL和内置本地AI有什么区别？

内置本地AI使用Grambo的自动设置为您安装和管理Ollama。自定义服务器URL适用于已经运行AI服务器（本地或远程）并希望手动将Grambo连接到它的高级用户。

我需要API密钥吗？

这取决于您的服务器。大多数本地服务器（LM Studio、Ollama、Jan）不需要API密钥。如果您的服务器需要身份验证，请在API密钥字段中输入密钥。如果不需要，您可以输入"none"或留空。

我可以连接到远程服务器，而不仅仅是localhost吗？

可以！您可以使用任何URL——本地（http://localhost:...）或远程（https://your-server.com/v1）。只需确保服务器可从您的Mac访问并返回兼容OpenAI的响应。

我应该输入什么模型名称？

输入您的服务器期望的确切模型标识符。例如，在LM Studio中，它显示在模型下拉菜单中。对于Ollama，它是您拉取的模型标签（例如llama3、mistral、qwen2）。

为什么Grambo没有从我的服务器收到响应？

检查：(1) 您的服务器正在运行并可在输入的URL访问，(2) 模型名称正确，(3) 服务器返回兼容OpenAI的JSON响应，以及(4) 如果需要API密钥，已正确输入。

我可以将自定义服务器URL与其他BYOK提供商一起使用吗？

可以。您可以随时在Grambo的设置中切换自定义服务器URL、OpenAI、Anthropic、Google Gemini和本地AI。每种模式都是独立的。

📧 需要帮助？

如果您在连接到自定义服务器时遇到问题或有关于兼容性的问题，请随时联系我们： support@gramboapp.com