--- title: "测试评估参考：crab - 测试评估 | 思行致远" canonical: "https://siyuanailab.com/knowledge/workflows/skill-forge/testing-evaluation/skill-forge-evaluation-crab/" dateModified: "2026-06-30" datePublished: "2026-06-30" --- 打开 AI·外脑目录 AI·外脑 [返回专栏首页](https://siyuanailab.com/knowledge/) × 站内搜索 ⌕ 主要栏目 - [AI 核心概念](https://siyuanailab.com/knowledge/ai-core/) - [工作流](https://siyuanailab.com/knowledge/workflows/) - [工具配置与选型](https://siyuanailab.com/knowledge/toolkits/) - [信源与标准](https://siyuanailab.com/knowledge/sources/) - [场景案例 待开发](https://siyuanailab.com/knowledge/scenarios/) - [职业与能力](https://siyuanailab.com/knowledge/career/) 专题 - [从这里开始](https://siyuanailab.com/knowledge/start/) - [获取与安装](https://siyuanailab.com/knowledge/install/) - [建设日志](https://siyuanailab.com/knowledge/ops/) [工作流子目录](https://siyuanailab.com/knowledge/workflows/) 基础设施层 - [浏览器自动化 **5**](https://siyuanailab.com/knowledge/workflows/infrastructure/browser-automation/) - [MCP 工具 **5**](https://siyuanailab.com/knowledge/workflows/infrastructure/mcp-tools/) - [文件系统与本地执行 **5**](https://siyuanailab.com/knowledge/workflows/infrastructure/filesystem-local/) - [API 网关与工具路由 **5**](https://siyuanailab.com/knowledge/workflows/infrastructure/api-tool-routing/) Skill 生产线 - [目标明确 **5**](https://siyuanailab.com/knowledge/workflows/skill-forge/goal-definition/) - [Skill 设计 **5**](https://siyuanailab.com/knowledge/workflows/skill-forge/skill-design/) - [代码实现 **5**](https://siyuanailab.com/knowledge/workflows/skill-forge/implementation/) - [测试评估 **5**](https://siyuanailab.com/knowledge/workflows/skill-forge/testing-evaluation/) - [WF-036 测试评估参考：claw bench](https://siyuanailab.com/knowledge/workflows/skill-forge/testing-evaluation/skill-forge-evaluation-claw-bench/) - [WF-037 测试评估参考：clawbench](https://siyuanailab.com/knowledge/workflows/skill-forge/testing-evaluation/skill-forge-evaluation-clawbench/) - [WF-038 测试评估参考：crab](https://siyuanailab.com/knowledge/workflows/skill-forge/testing-evaluation/skill-forge-evaluation-crab/) - [WF-039 测试评估参考：frontier swe](https://siyuanailab.com/knowledge/workflows/skill-forge/testing-evaluation/skill-forge-evaluation-frontier-swe/) - [WF-040 测试评估参考：TheAgentCompany](https://siyuanailab.com/knowledge/workflows/skill-forge/testing-evaluation/skill-forge-evaluation-theagentcompany/) Skill 参考库 - [写作与内容 **5**](https://siyuanailab.com/knowledge/workflows/skill-library/writing-content/) - [研究与知识 **5**](https://siyuanailab.com/knowledge/workflows/skill-library/research-knowledge/) - [沟通与协作 **5**](https://siyuanailab.com/knowledge/workflows/skill-library/communication-collaboration/) - [产品与项目 **5**](https://siyuanailab.com/knowledge/workflows/skill-library/product-project/) - [数据与分析 **5**](https://siyuanailab.com/knowledge/workflows/skill-library/data-analysis/) - [创意与设计 **5**](https://siyuanailab.com/knowledge/workflows/skill-library/creative-design/) - [商业与营销 **5**](https://siyuanailab.com/knowledge/workflows/skill-library/business-marketing/) Agent Building 只收录有多步工作流、工作标准、Loop、Harness、工具链或通信机制的真 Agent；不收纯 persona、profile、curated list 或只有 system prompt 的仓库。 - [多 Agent 框架 **5**](https://siyuanailab.com/knowledge/workflows/agent-building/multi-agent-frameworks/) - [工作流编排 **5**](https://siyuanailab.com/knowledge/workflows/agent-building/workflow-orchestration/) - [Sub-agent 模式 **5**](https://siyuanailab.com/knowledge/workflows/agent-building/sub-agent-patterns/) - [Harness 与评估 **5**](https://siyuanailab.com/knowledge/workflows/agent-building/harness-evaluation/) Skill 生产线 · 测试评估 · Skill 解读 · WF-038 # 测试评估参考：crab 思行致远 · 2026/6/30 · 置信度：高 测试评估evalbenchmark回归检查 一个 Python-first 的跨环境 Agent benchmark 框架，用 Action、Environment、Task、Evaluator 和 Benchmark 组织多模态具身任务。 # crab > 一个 Python-first 的跨环境 Agent benchmark 框架，用 Action、Environment、Task、Evaluator 和 Benchmark 组织多模态具身任务。 ## 这个能力解决什么问题 CRAB 解决的是多模态 Agent 评估无法统一管理多个环境的问题。一个任务可能同时涉及 Ubuntu 桌面、Android 手机、远程 VM 或 Docker 环境；Agent 需要在统一接口下观察、行动、提交结果。CRAB 把操作封装为 Python action，把评估封装为 evaluator graph，让跨环境 benchmark 可以用同一套循环运行。 ## 核心逻辑 真实输入是 benchmark config、environment、action space、task id、agent policy、模型配置和 observation。处理逻辑是：`create_benchmark` 创建 Benchmark；`start_task` 返回 task 和 action_space；agent 根据 `observe()` 的多环境状态选择 action 和参数；`step()` 执行动作并返回 evaluation results；多个 evaluator 可用 AND/OR/NOT 或 graph 组合判断任务进度。CRAB-Benchmark-v0 还提供 Android + Ubuntu 两个环境、100 个任务和 59 个 evaluator。 ## 技术结构 - 关键模块：`crab/core/benchmark.py` 和 `crab/core/models/*` 定义 benchmark、config、evaluator；`crab/environments/` 管环境；`crab/agents/policies/` 提供 single_agent、multi_agent_by_env、multi_agent_by_func；`crab/server/` 提供 API；`crab-benchmark-v0/` 存 Android/Ubuntu/cross-platform 数据集；`docs/get_started/build_your_own_benchmark.md` 说明 Action/Evaluator/Environment/Task/Benchmark 五件套。 - 调用链路：定义 actions/evaluators/environments/tasks -> create_benchmark -> start_task -> observe -> agent determine action -> benchmark.step -> evaluator graph 更新结果 -> reset。 - 输入输出：输入是自然语言任务、环境观察、action schema、action 参数；输出是环境状态变化、evaluation_results、terminated 标志和 benchmark 分数。 - 核心依赖：Python 3.10+、Pydantic、networkx、Docker/VM/KVM/ADB、Android Studio emulator、Google Cloud 可选、OpenAI/CAMEL/Gemini/Claude backend model 接入。 ## 为什么值得参考 它把评估对象拆得很清楚：Action 是可执行操作，Evaluator 是可判定条件，Environment 是状态空间，Task 是自然语言目标，Benchmark 是总控。做 Skill 评估时也可以按这五件套建模，而不是只写一段「请判断好坏」。 ## 为什么不建议直接套用 CRAB 的完整 benchmark 环境成本很高：Ubuntu KVM、本地显示器、32G 内存、Android emulator/ADB，或 Google Cloud 环境。它适合多模态具身 Agent，不适合普通 Markdown/代码 Skill 的轻量回归。图评估方法也需要为每个任务认真写 evaluator，否则框架不会自动给出好标准。 ## 如何改造成自己的版本 借它的五件套做轻量版：把你的 Skill 输入定义为 Task，把允许工具定义为 Actions，把工作目录/网页/API 定义为 Environment，把验收脚本定义为 Evaluator，把批量运行器定义为 Benchmark。先在本地文件任务中实现，不要一开始接 Android/VM。 ## 适用场景 - 需要评估跨桌面、手机、浏览器或远程机器的 Agent。 - 需要为动作和评估条件写 Python 原生接口。 - 需要支持单 Agent、多环境 Agent 或按功能拆分的 Agent 策略。 ## 不适用场景 - 纯文本生成或文档整理任务。 - 没有资源维护 KVM、ADB、VM 或云环境。 - 验收标准无法写成 evaluator graph。 ## 参考信息 - 原项目：[crab](https://github.com/camel-ai/crab) - 作者：camel-ai - 相关概念：[[评估基准]]、[[跨环境 Agent]]、[[Evaluator Graph]] - 相关卡片：[workflow-read-039](https://siyuanailab.com/knowledge/workflows/skill-forge/testing-evaluation/skill-forge-evaluation-frontier-swe/) ## 参考对象信息 **名称：**crab **作者：**camel-ai **链接：**[https://github.com/camel-ai/crab](https://github.com/camel-ai/crab) ## 适用场景与行动 **场景：**Skill 生产线 / 测试评估 **适合谁：**关注 AI 工作流、Skill 生产和 Agent Building 的读者 **下一步：**先阅读边界说明，再判断它是否适合改造成自己的测试评估流程。 当前内容按公开来源和已审核草稿整理，只作为工作流理解与方法论参考。 涉及客户数据、外部平台、会议记录和业务系统的场景，必须保留人工确认与授权边界。 [上一张：测试评估参考：clawbench](https://siyuanailab.com/knowledge/workflows/skill-forge/testing-evaluation/skill-forge-evaluation-clawbench/) [下一张：测试评估参考：frontier swe](https://siyuanailab.com/knowledge/workflows/skill-forge/testing-evaluation/skill-forge-evaluation-frontier-swe/) [返回当前分类](https://siyuanailab.com/knowledge/workflows/skill-forge/testing-evaluation/) [返回工作流专栏](https://siyuanailab.com/knowledge/workflows/)