REST API의 Rate Limit은 보통 한도를 넘긴 뒤 클라이언트에 429를 돌려주는 방식으로 동작합니다.

LLM 트래픽은 Rate Limit 단위가 API 요청 수가 아니라 Token이고, 한 번의 채팅이 수십에서 수천 토큰을 사용하기도 합니다. 따라서 사용자는 제한 량을 예측하기 어렵습니다. 제한된 오류를 맞이하는 시점은 이미 토큰 제한/예산은 소진된 상태입니다.

운영·비용 담당이 원하는 신호는 지금 부터 사용하지 못함인 상태가 보다는 곧 제한치에 도달 합니다 입니다. Slack, PagerDuty, Webhook, 티켓 시스템으로 사전에 먼저 받고, 한도가 차기 전에 쿼터를 늘리거나 트래픽을 조정하기를 원합니다.