> ## Documentation Index
> Fetch the complete documentation index at: https://qitor.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

# 基准测试

> 通过统一的官方 QitOS 基准测试路径运行 desktop-starter、OSWorld、GAIA、Tau-Bench、CyBench 与 CyberGym，并产出统一结果与追踪产物。

在 QitOS 里，基准测试不是另一套并行运行时，而是同一条智能体运行时叙事的延伸。

基准测试执行、回放、导出与结果聚合都建立在同一组核心原语之上：

* `Task`
* `RunSpec`
* `ExperimentSpec`
* `TraceWriter`
* `BenchmarkRunResult`
* `qita`

## 支持的基准测试

| 基准测试                                              | 领域              | 主指标                                         |
| ------------------------------------------------- | --------------- | ------------------------------------------- |
| [Desktop Starter](/zh/benchmarks/desktop-starter) | 计算机使用入门基线       | 成功 / 失败分类                                   |
| [OSWorld](/zh/benchmarks/osworld)                 | 桌面与计算机使用基准测试适配器 | OSWorld 评估器得分                               |
| [GAIA](/zh/benchmarks/gaia)                       | 通用 AI 助手任务      | 精确匹配                                        |
| [Tau-Bench](/zh/benchmarks/tau-bench)             | 工具-智能体-用户交互     | 奖励 / pass^k                                 |
| [CyBench](/zh/benchmarks/cybench)                 | CTF 风格安全评测      | 引导子任务得分                                     |
| [CyberGym](/zh/benchmarks/cybergym)               | 漏洞 PoC 生成与差分验证  | `vul_exit_code != 0` 且 `fix_exit_code == 0` |

## 官方基准测试入口

```bash theme={null}
qit bench run ...
qit bench eval ...
qit bench replay ...
qit bench export ...
```

`examples/benchmarks/` 仍然保留，但在 v0.3 中它们已经是同一条官方结果与追踪契约上的薄封装。

QitOS 现在也把基准测试工作明确拆成三层：

* 框架层：共享运行时、环境、适配层与 qita 能力
* 基准测试层：放在 `qitos.benchmark.*` 下的数据集、运行时、评估器与评分器集成
* 方案层：放在 `qitos.recipes.*` 下的可复现基线方法

有了这套拆分，入门基准测试、真实基准测试适配器和可复用基线就能同时存在，不会重新泄漏回 `examples/`。

## 为什么这很重要

基准测试输出形状统一之后，你就可以：

* 跨基准测试比较运行
* 无需每个基准测试单独写聚合脚本
* 始终使用同一套回放与导出界面
* 用和普通运行一样的 qita 工作流分析基准测试回归
* 在不改变产物契约的前提下，同时保留入门基准测试与真实基准测试适配器

## 基准测试运行会产出什么

一条基准测试路径通常会留下两层产物：

1. 追踪记录目录：`manifest.json`、`events.jsonl`、`steps.jsonl`
2. 统一的 `BenchmarkRunResult` JSONL

每一行结果至少包含：

* `task_id`
* `benchmark`
* `split`
* `prediction`
* `success`
* `stop_reason`
* `steps`
* `latency_seconds`
* `token_usage`
* `cost`
* `trace_run_dir`
* `run_spec_ref`

## 示例

```bash theme={null}
qit bench run \
  --benchmark tau-bench \
  --split test \
  --subset retail \
  --limit 10 \
  --output ./results/tau_retail_test.jsonl \
  --model-name "Qwen/Qwen3-8B"
```

然后继续聚合与检查：

```bash theme={null}
qit bench eval --input ./results/tau_retail_test.jsonl --json
qita board --logdir ./runs
```

## 继续阅读

* [官方运行](/zh/concepts/official-runs)
* [基准测试与方案](/zh/guides/benchmarks-and-recipes)
* [第三方基准测试接入规范](/zh/guides/third-party-benchmark-integration)
* [CLI 参考](/zh/reference/cli)
* [可复现基准测试运行教程](/zh/tutorials/reproducible-benchmark-runs)