Anleitung für benutzerdefinierte Server-URL

Verbinden Sie Grambo mit einem lokalen oder Remote-KI-Dienst — LM Studio, Ollama, LiteLLM, vLLM oder einem OpenAI-kompatiblen Endpunkt

Zurück zum Hilfecenter

📖 Übersicht

Die Funktion "Benutzerdefinierte Server-URL" von Grambo ermöglicht es Ihnen, sich mit einem KI-Dienst zu verbinden, der eine OpenAI-kompatible API bereitstellt. Dazu gehören lokale KI-Tools wie LM Studio, Jan und manuell konfiguriertes Ollama sowie selbst gehostete oder Remote-Dienste wie LiteLLM, vLLM und AnythingLLM. Sie geben die Server-URL, den Modellnamen und einen optionalen API-Schlüssel an — Grambo erledigt den Rest.

📡 OpenAI-Format erforderlich: Der Server, mit dem Sie sich verbinden, muss Antworten im OpenAI-Chat-Completions-Format zurückgeben. Die meisten modernen lokalen KI-Tools unterstützen dies standardmäßig.

⚙️ Einrichtung der benutzerdefinierten Server-URL

Folgen Sie diesen Schritten, um Grambo mit Ihrem benutzerdefinierten KI-Server zu verbinden:

  1. Öffnen Sie die Grambo-Einstellungen: Starten Sie Grambo auf Ihrem Mac und klicken Sie auf die Schaltfläche "Einstellungen".
  2. Wählen Sie "Eigenen Schlüssel mitbringen (BYOK)" unter "Diensttyp".
  3. Wählen Sie "Benutzerdefinierte Server-URL" aus den Modell-/Anbieteroptionen.
  4. Geben Sie Ihre Server-URL ein: Fügen Sie die Basis-URL Ihres KI-Servers ein, einschließlich des Pfads (z.B. /v1):
    http://localhost:1234/v1
  5. Geben Sie den Modellnamen ein: Geben Sie den genauen Modellnamen ein, den Ihr Server ausführt (z.B. llama3, mistral, phi3):
    llama3
  6. Geben Sie Ihren API-Schlüssel ein (falls von Ihrem Server erforderlich). Wenn Ihr Server keine Authentifizierung erfordert, geben Sie none ein oder lassen Sie das Feld leer:
    none
  7. Speichern Sie Ihre Einstellungen und beginnen Sie, Grambo mit Ihrem benutzerdefinierten Server zu verwenden.

✅ Alles erledigt! Grambo sendet nun Grammatikkorrekturanfragen an Ihren benutzerdefinierten Server. Die gesamte Verarbeitung erfolgt über Ihren gewählten KI-Dienst.

🔌 Kompatible Dienste

Jeder Dienst, der das OpenAI-Chat-Completions-API-Format implementiert, funktioniert. Hier sind einige beliebte Optionen mit ihren Standard-URLs:

Dienst Standard-URL API-Schlüssel
LM Studio http://localhost:1234/v1 Optional
Ollama (manual) http://localhost:11434/v1 Nicht erforderlich
Jan http://localhost:1337/v1 Optional
LiteLLM http://localhost:4000/v1 Erforderlich
vLLM http://localhost:8000/v1 Optional
AnythingLLM http://localhost:3001/api/openai Erforderlich
Remote / Benutzerdefinierter Server https://your-server.com/v1 Variiert

💡 Tipp: Stellen Sie sicher, dass Ihr lokaler KI-Server läuft, bevor Sie Ihre Einstellungen in Grambo speichern.

📡 OpenAI-Antwortformat-Anforderung

Grambo erwartet, dass der Server mit dem Standard-OpenAI-Chat-Completions-Format antwortet. Dies ist dasselbe Format, das von der offiziellen OpenAI-API verwendet wird.

  • Endpunkt: Ihr Server muss POST-Anfragen unter /chat/completions akzeptieren (relativ zur von Ihnen angegebenen Basis-URL)
  • Anforderungsformat: Grambo sendet ein Standard-messages-Array mit einem System-Prompt und Benutzertext
  • Antwortformat: Der Server muss ein JSON-Objekt mit choices[0].message.content zurückgeben, das den korrigierten Text enthält
  • Modellfeld: Der Modellname, den Sie in den Einstellungen eingeben, wird im Anforderungstext als model-Parameter übergeben

⚠️ Kompatibilität: Wenn Ihr Server keine Antworten im OpenAI-Format zurückgibt, kann Grambo die Korrektur nicht analysieren. Überprüfen Sie die Dokumentation Ihres Servers.

❓ Häufig gestellte Fragen

Was ist der Unterschied zwischen benutzerdefinierter Server-URL und der integrierten lokalen KI?

Die integrierte lokale KI verwendet die automatische Einrichtung von Grambo, um Ollama für Sie zu installieren und zu verwalten. Die benutzerdefinierte Server-URL ist für fortgeschrittene Benutzer, die bereits einen KI-Server betreiben — lokal oder remote — und Grambo manuell damit verbinden möchten.

Benötige ich einen API-Schlüssel?

Das hängt von Ihrem Server ab. Die meisten lokalen Server (LM Studio, Ollama, Jan) erfordern keinen API-Schlüssel. Wenn Ihr Server Authentifizierung erfordert, geben Sie den Schlüssel in das API-Schlüssel-Feld ein. Wenn nicht, können Sie "none" eingeben oder das Feld leer lassen.

Kann ich mich mit einem Remote-Server verbinden, nicht nur mit localhost?

Ja! Sie können jede URL verwenden — lokal (http://localhost:...) oder remote (https://ihr-server.com/v1). Stellen Sie sicher, dass der Server von Ihrem Mac aus zugänglich ist und OpenAI-kompatible Antworten zurückgibt.

Welchen Modellnamen soll ich eingeben?

Geben Sie den genauen Modellbezeichner ein, den Ihr Server erwartet. In LM Studio wird dies im Modell-Dropdown angezeigt. Für Ollama ist es das Modell-Tag, das Sie heruntergeladen haben (z.B. llama3, mistral, qwen2).

Warum erhält Grambo keine Antwort von meinem Server?

Überprüfen Sie: (1) Ihr Server läuft und ist unter der eingegebenen URL zugänglich, (2) der Modellname ist korrekt, (3) der Server gibt OpenAI-kompatible JSON-Antworten zurück, und (4) wenn ein API-Schlüssel erforderlich ist, ist er korrekt eingegeben.

Kann ich die benutzerdefinierte Server-URL zusammen mit anderen BYOK-Anbietern verwenden?

Ja. Sie können jederzeit in den Grambo-Einstellungen zwischen benutzerdefinierter Server-URL, OpenAI, Anthropic, Google Gemini und lokaler KI wechseln. Jeder Modus ist unabhängig.

📧 Hilfe benötigt?

Wenn Sie Probleme bei der Verbindung mit Ihrem benutzerdefinierten Server haben oder Fragen zur Kompatibilität haben, kontaktieren Sie uns unter support@gramboapp.com