For the complete documentation index, see llms.txt. This page is also available as Markdown.

限流與配額

限流如何運作,以及如何優雅地因應。

為確保服務穩定與公平使用,BCS API 會對每把 API key 限流。

限流如何運作

  • 維度為 「API key + 端點」——同一把 key 對不同端點各有獨立額度。

  • 額度由方案的 RPS(每秒請求數)與 Burst(突發容量)決定。

超量時

依方案設定有兩種行為:

行為
結果

Reject

立即回 429 rate_limited,附 Retry-After

Wait

在容量內短暫排隊,等到有額度自動放行;佇列滿則回 503

如何優雅因應

  • 收到 429 時,遵守 Retry-After 再重試。

  • 採用指數退避,避免雪崩式重打。

  • 在客戶端設定合理併發上限,平滑送出請求。

需要更高額度?

請聯絡你的客戶經理調整方案,或請管理員將 key 套用到更高 RPS/Burst 的方案。

延伸閱讀:開發者文件 — 限流

Last updated

Was this helpful?