Réponses en streaming

Avant de commencer#

Fermer votre premier appel API, installer le paquet Python openai et conserve les mêmes variables d'environnement. Votre fournisseur doit prendre en charge le streaming pour Chat Completions.

Lire les blocs de données avec Python#

Activer stream=True. Une réponse en streaming fournit progressivement delta Objets au lieu d'un message complet. Certains blocs de données ne contiennent pas de texte; vérifiez le contenu avant la sortie.

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["CODING_PLAN_API_KEY"],
    base_url=os.environ["CODING_PLAN_BASE_URL"],
)
with client.chat.completions.create(
    model=os.environ["CODING_PLAN_MODEL"],
    messages=[{"role": "user", "content": "Explain recursion briefly."}],
    stream=True,
) as stream:
    for chunk in stream:
        if not chunk.choices:
            continue
        text = chunk.choices[0].delta.content
        if text:
            print(text, end="", flush=True)
print()

Comprendre le flux#

Le streaming Chat Completions utilise des événements Sent Server. Laissez le SDK les décoder; un paquet réseau ne correspond pas nécessairement à un événement. Le texte peut arriver en petits fragments; un événement final peut contenir un delta de texte vide.

Les modèles Reasoning peuvent fournir d'autres champs Reasoning. Cet exemple ne montre que le contenu de la réponse. Vérifiez le schéma de réponse du fournisseur avant de traiter d'autres champs.

Traitement des interruptions#

Distinction visible entre la réponse terminée et la sortie partielle après rupture de connexion. Utilisez une limite de temps appropriée, interrompez et fermez le flux lorsque le lecteur s'arrête.

Déplacer une requête redémarrée vers une sortie partielle: Une nouvelle génération peut différer et consommer un autre contingent. Voir Codes d'erreur pour les instructions de révision.

Consommables#

Les champs de consommation peuvent dépendre des options de streaming du fournisseur. Estimations utilisation non facturée du nombre de blocs de données affichés ou de caractères. Comparer les valeurs de retour avec la vue d'ensemble de la consommation du fournisseur.

Référence: DeepSeek Chat Completions API.