Guida URL server personalizzato

Collega Grambo a qualsiasi servizio AI locale o remoto — LM Studio, Ollama, LiteLLM, vLLM o qualsiasi endpoint compatibile OpenAI

Torna al centro assistenza

📖 Panoramica

La funzione URL server personalizzato di Grambo ti consente di connetterti a qualsiasi servizio AI che espone un'API compatibile OpenAI. Questo include strumenti AI locali come LM Studio, Jan e Ollama configurato manualmente, nonché servizi auto-ospitati o remoti come LiteLLM, vLLM e AnythingLLM. Fornisci l'URL del server, il nome del modello e una chiave API opzionale — Grambo fa il resto.

📡 Formato OpenAI richiesto: Il server a cui ti connetti deve restituire risposte nel formato di completamento chat OpenAI. La maggior parte degli strumenti AI locali moderni lo supporta nativamente.

⚙️ Come configurare l'URL server personalizzato

Segui questi passaggi per connettere Grambo al tuo server AI personalizzato:

  1. Apri le impostazioni di Grambo: Avvia Grambo sul tuo Mac e clicca sul pulsante "Impostazioni".
  2. Scegli "Porta la tua chiave (BYOK)" sotto "Tipo di servizio".
  3. Seleziona "URL server personalizzato" dalle opzioni modello/provider.
  4. Inserisci il tuo URL server: Incolla l'URL base del tuo server AI, incluso il percorso (es. /v1):
    http://localhost:1234/v1
  5. Inserisci il nome del modello: Digita il nome esatto del modello che il tuo server sta eseguendo (es. llama3, mistral, phi3):
    llama3
  6. Inserisci la tua chiave API (se richiesta dal tuo server). Se il tuo server non richiede autenticazione, inserisci none o lascia vuoto:
    none
  7. Salva le tue impostazioni e inizia a usare Grambo con il tuo server personalizzato.

✅ Fatto! Grambo invierà ora le richieste di correzione grammaticale al tuo server personalizzato. Tutta l'elaborazione avviene tramite il tuo servizio AI scelto.

🔌 Servizi compatibili

Qualsiasi servizio che implementa il formato API di completamento chat OpenAI funzionerà. Ecco alcune opzioni popolari con i loro URL predefiniti:

Servizio URL predefinito Chiave API
LM Studio http://localhost:1234/v1 Opzionale
Ollama (manual) http://localhost:11434/v1 Non richiesta
Jan http://localhost:1337/v1 Opzionale
LiteLLM http://localhost:4000/v1 Richiesta
vLLM http://localhost:8000/v1 Opzionale
AnythingLLM http://localhost:3001/api/openai Richiesta
Server remoto / personalizzato https://your-server.com/v1 Variabile

💡 Suggerimento: Assicurati che il tuo server AI locale sia in esecuzione prima di salvare le impostazioni in Grambo.

📡 Requisito formato risposta OpenAI

Grambo si aspetta che il server risponda usando il formato standard di completamento chat OpenAI. È lo stesso formato usato dall'API ufficiale OpenAI ed è ampiamente supportato dagli strumenti AI locali.

  • Endpoint: Il tuo server deve accettare richieste POST su /chat/completions (relativo all'URL base che fornisci)
  • Formato richiesta: Grambo invia un array messages standard con un prompt di sistema e testo utente
  • Formato risposta: Il server deve restituire un oggetto JSON con choices[0].message.content contenente il testo corretto
  • Campo modello: Il nome del modello che inserisci nelle impostazioni viene passato nel corpo della richiesta come parametro model

⚠️ Compatibilità: Se il tuo server non restituisce risposte nel formato OpenAI, Grambo non sarà in grado di analizzare la correzione. Consulta la documentazione del tuo server per confermare che supporta l'API di completamento chat OpenAI.

❓ Domande frequenti

Qual è la differenza tra URL server personalizzato e l'IA locale integrata?

L'IA locale integrata usa la configurazione automatica di Grambo per installare e gestire Ollama per te. L'URL server personalizzato è per utenti avanzati che hanno già un server AI in esecuzione — locale o remoto — e vogliono connettere Grambo manualmente.

Ho bisogno di una chiave API?

Dipende dal tuo server. La maggior parte dei server locali (LM Studio, Ollama, Jan) non richiede una chiave API. Se il tuo server richiede autenticazione, inserisci la chiave nel campo Chiave API. Altrimenti, puoi inserire "none" o lasciare vuoto.

Posso connettermi a un server remoto, non solo localhost?

Sì! Puoi usare qualsiasi URL — locale (http://localhost:...) o remoto (https://tuo-server.com/v1). Assicurati solo che il server sia accessibile dal tuo Mac e restituisca risposte compatibili OpenAI.

Quale nome di modello devo inserire?

Inserisci l'identificatore esatto del modello che il tuo server si aspetta. Ad esempio, in LM Studio è mostrato nel menu a discesa del modello. Per Ollama, è il tag del modello che hai scaricato (es. llama3, mistral, qwen2).

Perché Grambo non riceve risposta dal mio server?

Verifica che: (1) il tuo server sia in esecuzione e accessibile all'URL inserito, (2) il nome del modello sia corretto, (3) il server restituisca risposte JSON compatibili OpenAI, e (4) se è richiesta una chiave API, sia inserita correttamente.

Posso usare l'URL server personalizzato insieme ad altri provider BYOK?

Sì. Puoi passare tra URL server personalizzato, OpenAI, Anthropic, Google Gemini e IA locale in qualsiasi momento nelle impostazioni di Grambo. Ogni modalità è indipendente.

📧 Hai bisogno di aiuto?

Se hai difficoltà a connetterti al tuo server personalizzato o hai domande sulla compatibilità, contattaci a support@gramboapp.com