Лимиты

Лимиты защищают баланс и платформу от случайного всплеска запросов. Ответ, превысивший лимит, ничего не стоит, а заголовок Retry-After говорит, через сколько секунд повторить запрос.

Лимит	Значение	Ответ при превышении
Запросы в минуту	600 на ключ	`429 rate_limit_exceeded`, `Retry-After: 60`
Одновременные запросы	32 на аккаунт	`429 too_many_concurrent_requests`, `Retry-After: 5`
Расход ключа за сутки и за месяц	задаётся в кабинете	`429 spend_limit_exceeded`, `Retry-After` — до сброса
Размер тела запроса	32 МБ	`413 request_too_large`
Баланс	резерв стоимости запроса	`402 insufficient_balance`

Запросы в минуту

Счётчик ведётся по каждому ключу отдельно, окно — календарная минута: с началом следующей минуты счёт начинается заново.

Одновременные запросы

У аккаунта одновременно выполняется не больше 32 запросов к моделям — со всех его ключей вместе. Так параллельные запросы не потратят больше, чем есть на балансе. Повторите запрос, когда часть уже идущих завершится.

Лимиты расхода ключа

Ключу можно задать, сколько он может потратить за сутки и за месяц. Сутки и месяц считаются по UTC. Превышение возвращает 429 spend_limit_exceeded: в сообщении указано, какой лимит исчерпан и когда он сбросится, а Retry-After — сколько секунд до сброса. Лимиты меняются в кабинете в любой момент.

Баланс: код 402

Перед запросом платформа резервирует верхнюю оценку его стоимости (см. Модели и цены). Если доступного остатка не хватает, ответ — 402 insufficient_balance. Доступный остаток — это кошелёк плюс включённое в подписку. Пополните баланс в кабинете или уменьшите max_tokens, чтобы уменьшить резерв.

Размер тела запроса

Тело запроса — не больше 32 МБ, включая картинки и файлы в base64. Если одновременно приходит слишком много больших запросов, платформа может ответить 503 busy с Retry-After: 5.

Как повторять запросы

429 и 503 — повторяйте не раньше, чем через Retry-After секунд.
402 и 413 — повтор без изменений не поможет: пополните баланс или уменьшите запрос.