API-Endpunkte

Die Inference-API nimmt Anfragen an die Modelle entgegen. Sie authentifiziert sich mit einem Token aus dem Abschnitt Tokens der Ansicht Mein Konto. Der Platzhalter {mandant} steht für den Mandanten, {gateway} für das Gateway.

Die folgenden Optionen sind verfügbar:

Endpunkt	Beschreibung
POST /v1/{mandant}/{gateway}/compat/chat/completions	Sendet eine Unterhaltung an das Modell. Der Pfad ist zum Schema von OpenAI kompatibel.
POST /v1/{mandant}/{gateway}/compat/completions	Sendet eine einzelne Eingabe an das Modell.
POST /v1/{mandant}/{gateway}/compat/embeddings	Erzeugt Einbettungen zu einer Eingabe.
POST /v1/{mandant}/{gateway}/{anbieter}/chat/completions	Sendet eine Unterhaltung an einen bestimmten Anbieter.
POST /v1/{mandant}/{gateway}/{anbieter}/embeddings	Erzeugt Einbettungen bei einem bestimmten Anbieter.

Die Admin-API bedient die Oberfläche. Die folgenden Endpunkte beantwortet sie für die Rolle Administrator.

Die folgenden Optionen sind verfügbar:

Endpunkt	Beschreibung
GET/POST /admin/v1/tenants GET/PATCH/DELETE /admin/v1/tenants/{id}	Verwaltet die Mandanten. Das Anlegen erfordert Create tenants, das Ändern und Löschen Manage tenant settings, das endgültige Löschen Purge tenants.
GET/POST /admin/v1/tenants/{id}/gateways GET/PATCH/DELETE /admin/v1/gateways/{id}	Verwaltet die Gateways eines Mandanten. Schreibende Aufrufe erfordern Manage gateways and routing.
GET/POST /admin/v1/gateways/{id}/keys DELETE /admin/v1/gateways/{id}/keys/{anbieter}/{alias} GET/POST/PATCH/DELETE /admin/v1/gateways/{id}/rules DELETE /admin/v1/gateways/{id}/budget	Verwaltet die Anbieterschlüssel, die Regeln und das Budget eines Gateways. Erfordert Manage gateways and routing.
GET/POST /admin/v1/gateways/{id}/tokens PATCH/DELETE /admin/v1/gateways/{id}/tokens/{token}	Verwaltet die API-Tokens eines Gateways. Erfordert Manage gateway API tokens.
GET/POST /admin/v1/tenants/{id}/users GET/PATCH/DELETE /admin/v1/users/{id} GET/POST /admin/v1/users/{id}/tokens DELETE /admin/v1/users/{id}/budget GET /admin/v1/users/{id}/gateways POST/DELETE /admin/v1/users/{id}/gateways/{gateway}	Verwaltet die Benutzerkonten des Mandanten, deren Tokens, Budgets und Gateway-Zuweisungen. Erfordert Manage tenant users.
GET /admin/v1/stats GET /admin/v1/stats/timeseries	Zeigt die Nutzungszahlen an. Die Rollen Administrator und Mandanten-Administrator sehen die Zahlen des gesamten Mandanten. Jede andere Rolle sieht ausschließlich die eigenen.
GET /admin/v1/stats/analytics	Zeigt die Auswertungen an. Erfordert View analytics dashboards.
GET /admin/v1/gateways/{id}/spend GET /admin/v1/tenants/{id}/spend	Zeigt die Kosten eines Gateways oder eines Mandanten an. Erfordert View cost breakdowns.
GET /admin/v1/tenants/{id}/analytics	Zeigt die Auswertung eines Mandanten an. Erfordert Manage tenant settings.
GET /admin/v1/logs GET /admin/v1/logs/{id} GET /admin/v1/gateways/{id}/traces GET /admin/v1/traces/{id}	Zeigt die Anfrageprotokolle und die zugehörigen Traces an. Erfordert View request logs and traces.
POST /admin/v1/playground/token GET /admin/v1/playground/search GET /admin/v1/playground/trace/{id}	Bedient den Playground. Der Abruf eines Traces erfordert View request logs and traces.
GET/PUT /admin/v1/model-prices DELETE /admin/v1/model-prices/{anbieter}/{modell}	Verwaltet die Modellpreise. Das Lesen erfordert View model prices, das Schreiben Manage model prices and deprecations.
GET /admin/v1/providers GET /admin/v1/models	Führt die unterstützten Anbieter und Modelle auf.
GET /admin/v1/gateways/{id}/guardrail-stats GET /admin/v1/gateways/{id}/guardrail-events GET /admin/v1/gateways/{id}/circuit-breaker	Zeigt die Treffer der Inhaltsregeln und den Zustand des Schutzschalters an.
GET /admin/v1/audit-log	Zeigt das Prüfprotokoll der Plattform an. Erfordert View the platform audit log.
POST/GET /admin/v1/client-errors	Nimmt Fehler der Oberfläche entgegen. Das Lesen erfordert Triage feedback, reports, and client errors.
GET /healthz	Meldet den Betriebszustand des Gateways.

Die Unterabschnitte beschreiben jeden Endpunkt einzeln mit seinen Parametern, einem Beispiel und seinen Statuscodes.