引言把大模型 API 接入到实际系统里写通第一个请求只是起点。真正决定线上表现的是限流、预算约束和长任务中断这几个工程问题。本文从这几个角度梳理一套通用的健壮性设计思路只谈工程实践。一、速率限制RPM 与 TPM 的双重约束主流大模型 API 通常同时施加两类速率限制RPMRequests Per Minute每分钟请求数上限。TPMTokens Per Minute每分钟 token 吞吐上限。两者是与的关系任一触顶都会返回 429。工程上容易踩的坑是只盯着 RPM却在长 prompt 场景下先撞到 TPM。设计客户端限流器时应同时对这两个维度做令牌桶控制。一个简单的双桶思路classDualRateLimiter:def__init__(self,rpm,tpm):self.rpm_bucketTokenBucket(rpm,per60)self.tpm_bucketTokenBucket(tpm,per60)defacquire(self,est_tokens):self.rpm_bucket.take(1)self.tpm_bucket.take(est_tokens)发请求前先按预估 token 数申请配额能把大部分 429 挡在客户端而不是靠服务端拒绝后再重试。二、遇到 429 的正确退避策略即便有客户端限流突发流量仍可能触发 429。此时应采用指数退避 抖动而不是固定间隔重试importrandom,timedefbackoff_retry(fn,max_retries5):foriinrange(max_retries):try:returnfn()exceptRateLimitError:waitmin(2**i,30)random.uniform(0,1)time.sleep(wait)raise抖动jitter很关键多个 worker 同时被限流后若退避时间完全一致会在同一时刻集体重试形成二次冲击。加入随机抖动可以把重试请求打散。三、预算约束下的模型选择调用大模型是有成本的不同能力档位的模型单位成本差异明显。工程上常见的做法是按任务复杂度分级路由简单的分类、抽取、格式化用轻量模型。需要推理、长链路规划的任务才动用高能力模型。defroute_model(task):iftask.typein(classify,extract,format):returnlight-tierreturnheavy-tier这种分级让每类任务匹配到够用且不过度的算力整体单位产出更高。四、上下文窗口的管理大模型都有上下文窗口上限如 200K tokens。长会话或复杂工具调用场景下上下文会持续膨胀逼近上限时要么报错要么触发昂贵的截断。几种常用的上下文控制手段滑动窗口只保留最近 N 轮对话。摘要压缩把早期历史压缩成摘要腾出空间。外部记忆把长期信息存到外部存储按需检索回填。deftrim_context(messages,max_tokens):totalsum(count_tokens(m)forminmessages)whiletotalmax_tokensandlen(messages)1:removedmessages.pop(1)# 保留 system丢最早的对话total-count_tokens(removed)returnmessages五、长任务的中断与续跑一个跑到 80% 的长任务若因限流、超时中途失败直接从头重来代价很高。健壮的设计应支持断点续跑把任务拆成可持久化的子步骤。每个子步骤完成后落盘中间状态。失败重启时从最后一个完成的检查点恢复。defrun_with_checkpoint(steps,state_file):stateload_state(state_file)fori,stepinenumerate(steps):ifistate.get(done,-1):continuestep.run()state[done]i save_state(state_file,state)这样即便任务中断也只损失最后一个未完成步骤的进度而不是整个任务。六、可观测性把错误分类统计起来要持续优化稳定性先得看清错误分布。建议至少统计这几类错误类型关注点429 限流是否需要下调并发或上调退避5xx上游服务端问题评估是否需要多上游冗余超时网络链路或单请求耗时过长上下文超限上下文管理策略是否需要收紧把这些指标接入监控面板就能从凭感觉调参转向按数据优化。七、配置层的小结上面这些策略最终都要落到一个统一的 API 调用层里。实践中无论是直连官方 endpoint还是通过某个兼容 Anthropic 协议的网关例如 jiekou.vip接入客户端侧的限流、退避、上下文管理逻辑都是通用的与具体 endpoint 无关。把这层抽象好切换底层地址时上层代码几乎不用改。写在最后把大模型 API 用稳靠的不是某一个技巧而是限流、退避、预算路由、上下文管理、断点续跑、可观测性这一整套工程手段的组合。这些实践与具体使用哪家模型服务无关是接入任何大模型能力时都值得沉淀下来的通用底座。