Desktop Starter 基准测试

QitOS v0.5 第一个官方多模态桌面基准测试路径。

​

Desktop Starter 基准测试

desktop-starter 是 QitOS 第一个官方多模态入门基准测试族。

它被定义为 OSWorld 兼容入门包：

• 桌面与计算机使用任务结构
• 截图 + 无障碍 + OCR + UI 候选项
• 与供应商无关的 GUI 动作
• 统一的 BenchmarkRunResult
• qita 回放、导出与可视化检查

它不是对完整官方 OSWorld 对等性的宣称。

​

运行入门基准测试

qit bench run \
  --benchmark desktop-starter \
  --split starter \
  --strategy desktop_smoke \
  --output ./artifacts/desktop-starter-smoke.jsonl

真实模型路径：

qit bench run \
  --benchmark desktop-starter \
  --split starter \
  --strategy desktop_baseline \
  --model-family qwen \
  --model-name qwen-plus \
  --base-url https://dashscope.aliyuncs.com/compatible-mode/v1 \
  --output ./artifacts/desktop-starter.jsonl

真实基准测试适配器现在已经独立放到 osworld。