🚦 速率限制 是什么？

⚡ 一句话秒懂

AI服务的「限流阀」，防止被一个人打爆

📖 举个故事

老张开了一家AI画画网站，上线后一个用户写了个脚本，每秒请求100次，直接把服务器拖垮了，所有用户都无法使用。技术同事紧急加了速率限制：每个用户每分钟最多请求10次。超额的请求直接返回「太快了，请稍后再试」。从此服务器稳定了，正常用户不受影响，恶意刷屏的被挡在外面。

💡 类比理解

暂未补充。

🧩 真实例子

暂未补充。

🛠️ 怎么实际使用

调用AI服务时要注意速率限制。OpenAI免费用户每分钟最多3次GPT-4请求，付费用户每分钟500次。调用时处理错误响应：如果收到429状态码（Too Many Requests），说明超限了，应等待几秒后重试。代码中可以实现退避策略：检测到429后等待1秒、2秒、4秒…指数增长地重试。

📚 进阶原理

速率限制（Rate Limit）通过令牌桶（Token Bucket）或滑动窗口算法实现。通常按API Key或IP地址维度限制请求频率（RPM）和并发数（TPM）。超限返回HTTP 429，响应头包含Retry-After或X-RateLimit-Reset。生产环境需实现退避（Exponential Backoff）和熔断（Circuit Breaker）机制。

继续学习相关术语