Лимиты

Лимиты ставятся на ключ, а не на аккаунт: цикл, сорвавшийся на стенде, не должен останавливать продакшен.

Три ограничения

Что	Единица	Что происходит при исчерпании
RPM	запросов в минуту	429 до начала следующей минуты
RPD	запросов в сутки	429 до полуночи UTC
Потолок расхода	деньги за календарный месяц	402 до первого числа или до поднятия потолка

Все три необязательны: ключ без лимитов работает, пока хватает баланса аккаунта. Ставятся и меняются они в кабинете и действуют со следующего запроса.

Заголовки остатка

Приходят в каждом ответе, включая ошибочные.

text

X-RateLimit-Limit-Requests:      600
X-RateLimit-Remaining-Requests:  517
X-RateLimit-Reset-Requests:      41        # секунд до сброса окна
X-RateLimit-Limit-Day:           120000
X-RateLimit-Remaining-Day:       98314
Retry-After:                     41        # только при 429

Читать их дешевле, чем ловить 429: при остатке ниже десяти процентов имеет смысл притормозить самому, а не упираться в стену.

Как выбирать значения

RPM — по пиковой нагрузке плюс запас. Слишком низкий лимит превращается в очередь на вашей стороне и растит время ответа.
RPD — по здравому смыслу за сутки. Это защита от цикла, который сорвался ночью: он упрётся в потолок за час, а не потратит месячный бюджет.
Потолок расхода — по цене ошибки. Ставьте его даже там, где он кажется лишним: он ограничивает не удобство, а размер неприятности.

Что не ограничивается

Длина контекста и максимум ответа — свойства модели, а не лимиты аккаунта: поднять их нельзя, они видны в характеристиках модели. Параллельные соединения мы не режем отдельно — их косвенно ограничивает RPM.

Уведомления

Пороги настраиваются в настройках: письмо при низком балансе, при всплеске расхода вдвое к среднему за неделю и при доле ошибок выше пяти процентов дольше пяти минут. Порогов лучше поставить меньше, чем больше — молчащий мониторинг не мониторинг.