API-Endpunkte¶
Die Inference-API nimmt Anfragen an die Modelle entgegen. Sie authentifiziert sich mit einem Token aus dem Abschnitt Tokens der Ansicht Mein Konto. Der Platzhalter {mandant} steht für den Mandanten, {gateway} für das Gateway.
Die folgenden Optionen sind verfügbar:
| Endpunkt | Beschreibung |
|---|---|
POST /v1/{mandant}/{gateway}/compat/chat/completions |
Sendet eine Unterhaltung an das Modell. Der Pfad ist zum Schema von OpenAI kompatibel. |
POST /v1/{mandant}/{gateway}/compat/completions |
Sendet eine einzelne Eingabe an das Modell. |
POST /v1/{mandant}/{gateway}/compat/embeddings |
Erzeugt Einbettungen zu einer Eingabe. |
POST /v1/{mandant}/{gateway}/{anbieter}/chat/completions |
Sendet eine Unterhaltung an einen bestimmten Anbieter. |
POST /v1/{mandant}/{gateway}/{anbieter}/embeddings |
Erzeugt Einbettungen bei einem bestimmten Anbieter. |
Die Admin-API bedient die Oberfläche. Die folgenden Endpunkte beantwortet sie für die Rolle Mandanten-Administrator.
Die folgenden Optionen sind verfügbar:
| Endpunkt | Beschreibung |
|---|---|
GET/POST /admin/v1/tenants/{id}/gatewaysGET/PATCH/DELETE /admin/v1/gateways/{id} |
Verwaltet die Gateways des Mandanten. Schreibende Aufrufe erfordern Manage gateways and routing. |
GET/POST /admin/v1/gateways/{id}/keysDELETE /admin/v1/gateways/{id}/keys/{anbieter}/{alias}GET/POST/PATCH/DELETE /admin/v1/gateways/{id}/rulesDELETE /admin/v1/gateways/{id}/budget |
Verwaltet die Anbieterschlüssel, die Regeln und das Budget eines Gateways. Erfordert Manage gateways and routing. |
GET/POST /admin/v1/gateways/{id}/tokensPATCH/DELETE /admin/v1/gateways/{id}/tokens/{token} |
Verwaltet die API-Tokens eines Gateways. Erfordert Manage gateway API tokens. |
GET/POST /admin/v1/tenants/{id}/usersGET/PATCH/DELETE /admin/v1/users/{id}GET/POST /admin/v1/users/{id}/tokensDELETE /admin/v1/users/{id}/budgetGET /admin/v1/users/{id}/gatewaysPOST/DELETE /admin/v1/users/{id}/gateways/{gateway} |
Verwaltet die Benutzerkonten des Mandanten, deren Tokens, Budgets und Gateway-Zuweisungen. Erfordert Manage tenant users. |
PATCH /admin/v1/tenants/{id} |
Verwaltet die Einstellungen des eigenen Mandanten. Erfordert Manage tenant settings. |
GET /admin/v1/statsGET /admin/v1/stats/timeseries |
Zeigt die Nutzungszahlen an. Die Rollen Administrator und Mandanten-Administrator sehen die Zahlen des gesamten Mandanten. Jede andere Rolle sieht ausschließlich die eigenen. |
GET /admin/v1/stats/analytics |
Zeigt die Auswertungen an. Erfordert View analytics dashboards. |
GET /admin/v1/gateways/{id}/spendGET /admin/v1/tenants/{id}/spend |
Zeigt die Kosten eines Gateways oder des Mandanten an. Erfordert View cost breakdowns. |
GET /admin/v1/tenants/{id}/analytics |
Zeigt die Auswertung des Mandanten an. Erfordert Manage tenant settings. |
GET /admin/v1/logsGET /admin/v1/logs/{id}GET /admin/v1/gateways/{id}/tracesGET /admin/v1/traces/{id} |
Zeigt die Anfrageprotokolle und die zugehörigen Traces an. Erfordert View request logs and traces. |
GET /admin/v1/model-prices |
Führt die Modellpreise auf. Erfordert View model prices. Das Schreiben bleibt der Rolle Administrator vorbehalten. |
GET /admin/v1/providersGET /admin/v1/models |
Führt die unterstützten Anbieter und Modelle auf. |
GET /admin/v1/gateways/{id}/guardrail-statsGET /admin/v1/gateways/{id}/guardrail-eventsGET /admin/v1/gateways/{id}/circuit-breaker |
Zeigt die Treffer der Inhaltsregeln und den Zustand des Schutzschalters an. |
GET /healthz |
Meldet den Betriebszustand des Gateways. |
Hinweis
Die Endpunkte POST /admin/v1/tenants, DELETE /admin/v1/tenants/{id}, GET /admin/v1/audit-log und die schreibenden Endpunkte unter /admin/v1/model-prices beantwortet die API für diese Rolle mit dem Status 403.
Hinweis
Für die Rolle KI-Manager beantwortet die Admin-API ausschließlich GET /admin/v1/stats, GET /admin/v1/stats/timeseries, GET /admin/v1/stats/analytics sowie GET /admin/v1/providers und GET /admin/v1/models. Jeden anderen Endpunkt beantwortet sie mit dem Status 403. Für die Rolle Finanzen beantwortet sie ausschließlich GET /admin/v1/stats und GET /admin/v1/stats/timeseries. Diese Rolle erstellt keine Tokens, die Inference-API steht ihr deshalb nicht zur Verfügung.
Die Unterabschnitte beschreiben jeden Endpunkt einzeln mit seinen Parametern, einem Beispiel und seinen Statuscodes.