Skip to main content
这里列出当前可替换的框架机制,不是全包符号清单或跨版本永久稳定保证。用显式 Python 工厂装配扩展;不要让配置任意导入代码。默认示例只有纯函数工具和 fake provider,其他客户端依赖请查安装页。 Complete provider/context extension · API index

Provider stream 生命周期

内置原生 Chat、Responses 和 Anthropic stream 在发布成功前校验 provider 终态。部分工具输入、提前 EOF 和矛盾终态均失败关闭。尾部 usage-only chunk 被收集且不重复计费;缺失 usage 保持 unknown。OpenAI SDK 的 chat_template_kwargs 被移动到 extra_body,显式输出上限保持不变。 自有 SDK client 和 response iterator 在正常、异常及显式 close/aclose 时关闭。Consumer callback 的错误向上传播。Async 取消无法强制终止 Python 线程;AsyncEngine 保留 worker 所有权直至完成。Client 构造失败可证明未发送;transport 失败保守记录为可能已发送。LiteLLM、Gemini 及本地非原生 fallback 只产生一个完整 chunk,不宣称逐 token streaming。 模型历史重读保留工具实际完成顺序;声明顺序结果仍是派生视图。离线安装包消费者跨三次模型请求验证这一点。