Стриминг

Вызов

stream = client.chat.completions.create(
    model="google/gemini-3-flash",
    messages=[{"role": "user", "content": "Расскажи о Марсе"}],
    stream=True,
)

for chunk in stream:
    print(chunk.choices[0].delta.content or "", end="", flush=True)

Формат

Ответ приходит как text/event-stream. Каждая строка данных — объект того же вида, что и обычный ответ, но с полем delta вместо message. Поток закрывается строкой data: [DONE].

data: {"choices":[{"delta":{"role":"assistant","content":""}}]}

data: {"choices":[{"delta":{"content":"Марс"}}]}

data: {"choices":[{"delta":{"content":" — четвёртая"}}]}

data: {"choices":[{"delta":{},"finish_reason":"stop"}],
       "usage":{"prompt_tokens":14,"completion_tokens":96,"total_tokens":110}}

data: [DONE]

Счёт токенов

Блок usage приходит в последнем содержательном чанке, вместе с finish_reason. Считать токены по числу дельт нельзя: в одной дельте может быть и один символ, и целое слово — это зависит от площадки.

Обрывы

• Клиент закрыл соединение. Генерация останавливается, но токены, которые модель уже успела выдать, тарифицируются. Отмена не бесплатна.
• Площадка отвалилась в середине. Переключить маршрут на середине потока нельзя — часть ответа уже у вас. Приходит событие с finish_reason: "error", повтор остаётся на вашей стороне.
• Прокси съел поток. Если ответ приходит целиком в конце, между вами и нами стоит буферизующий прокси. Для nginx лечится proxy_buffering off.