Text-Completions (einheitlicher Compat-Endpunkt)

Hinweis

Der Endpunkt verlangt einen Token des Gateways in der Kopfzeile Authorization: Bearer <token>, solange am Gateway auth_required: true eingestellt ist. Das ist die Voreinstellung.

Senden Sie die Anfrage als POST an den Pfad /v1/{tenant}/{gateway}/compat/completions.

Beschreibung

Der Endpunkt nimmt eine einzelne Eingabe über den anbieterneutralen Pfad entgegen. Das Schema stammt aus der älteren Completions-Schnittstelle.

Anfrage

Die folgenden Parameter sind verfügbar:

Parameter	Ort	Typ	Erforderlich	Beschreibung
tenant	Pfad	string	ja	Slug des Mandanten aus dessen Feld slug.
gateway	Pfad	string	ja	Slug des Gateways aus dessen Feld slug.
x-aig-byok-alias	Kopfzeile	string	nein	Wählt den hinterlegten eigenen Anbieter-Schlüssel für diese Anfrage. Ohne Angabe gilt default. Die Kopfzeile ist erforderlich, wenn zu einem Anbieter mehrere Schlüssel unter verschiedenen Aliasen hinterlegt sind.
x-aig-collect-log-payload	Kopfzeile	string	nein	Mit false hält das Gateway den Rumpf der Anfrage und der Antwort für diese eine Anfrage nicht im Protokoll fest. Die Kopfzeile eignet sich für Anfragen mit schützenswerten Daten, auch wenn am Gateway log_payloads: true eingestellt ist.

Beispiel

Beispiel für den Rumpf der Anfrage:

{
  "model": "gpt-3.5-turbo-instruct",
  "prompt": {},
  "max_tokens": 256,
  "temperature": 0.0,
  "stream": false
}

Antworten

Der Endpunkt beantwortet die Anfrage mit den folgenden Statuscodes:

Statuscode	Beschreibung
200	Antwort der Text-Completion.
400	Der Anfragerumpf ist ungültig, oder eine Pflichtangabe fehlt.
401	Der Token fehlt oder ist ungültig.
424	provider_key_missing: das gewählte Modell läuft über einen Anbieter, der einen API-Schlüssel verlangt. Für dieses Gateway und diesen Alias ist keiner hinterlegt. Die Administration muss einen Anbieter-Schlüssel hinterlegen. Das Gateway meldet den Fehler, bevor es den Anbieter aufruft.
429	Das Ratenlimit oder das Budget ist überschritten.
502	Alle vorgelagerten Anbieter sind ausgefallen. Wiederholungen und Ausweichwege sind erschöpft.