API-Endpunkte

Die Inference-API nimmt Anfragen an die Modelle entgegen. Sie authentifiziert sich mit einem Token aus dem Abschnitt Tokens der Ansicht Mein Konto. Der Platzhalter {mandant} steht für den Mandanten, {gateway} für das Gateway.

Die folgenden Optionen sind verfügbar:

Endpunkt	Beschreibung
POST /v1/{mandant}/{gateway}/compat/chat/completions	Sendet eine Unterhaltung an das Modell. Der Pfad ist zum Schema von OpenAI kompatibel.
POST /v1/{mandant}/{gateway}/compat/completions	Sendet eine einzelne Eingabe an das Modell.
POST /v1/{mandant}/{gateway}/compat/embeddings	Erzeugt Einbettungen zu einer Eingabe.
POST /v1/{mandant}/{gateway}/{anbieter}/chat/completions	Sendet eine Unterhaltung an einen bestimmten Anbieter.
POST /v1/{mandant}/{gateway}/{anbieter}/embeddings	Erzeugt Einbettungen bei einem bestimmten Anbieter.

Die Admin-API bedient die Oberfläche. Die folgenden Endpunkte beantwortet sie für die Rolle Mitglied.

Die folgenden Optionen sind verfügbar:

Endpunkt	Beschreibung
GET /admin/v1/stats GET /admin/v1/stats/timeseries	Zeigt die Nutzungszahlen an. Die Rollen Administrator und Mandanten-Administrator sehen die Zahlen des gesamten Mandanten. Jede andere Rolle sieht ausschließlich die eigenen.
GET /admin/v1/providers GET /admin/v1/models	Führt die unterstützten Anbieter und Modelle auf.

Hinweis

Die Endpunkte für Gateways, Benutzerkonten, Mandanten, Auswertungen, Anfrageprotokolle und Modellpreise beantwortet die API für diese Rolle mit dem Status 403.

Hinweis

Die Rolle Betrachter ruft von der Admin-API ausschließlich GET /admin/v1/stats und GET /admin/v1/stats/timeseries auf. Die Rolle Betrachter erstellt keine Tokens. Die Inference-API steht der Rolle Betrachter deshalb nicht zur Verfügung. Die Rolle Demo-Benutzer ruft weder die Inference-API noch die Admin-API auf.

Die Unterabschnitte beschreiben jeden Endpunkt einzeln mit seinen Parametern, einem Beispiel und seinen Statuscodes.