--- title: "测试评估参考：frontier swe - 测试评估 | 思行致远" canonical: "https://siyuanailab.com/knowledge/workflows/skill-forge/testing-evaluation/skill-forge-evaluation-frontier-swe/" dateModified: "2026-06-30" datePublished: "2026-06-30" --- 打开 AI·外脑目录 AI·外脑 [返回专栏首页](https://siyuanailab.com/knowledge/) × 站内搜索 ⌕ 主要栏目 - [AI 核心概念](https://siyuanailab.com/knowledge/ai-core/) - [工作流](https://siyuanailab.com/knowledge/workflows/) - [工具配置与选型](https://siyuanailab.com/knowledge/toolkits/) - [信源与标准](https://siyuanailab.com/knowledge/sources/) - [场景案例 待开发](https://siyuanailab.com/knowledge/scenarios/) - [职业与能力](https://siyuanailab.com/knowledge/career/) 专题 - [从这里开始](https://siyuanailab.com/knowledge/start/) - [获取与安装](https://siyuanailab.com/knowledge/install/) - [建设日志](https://siyuanailab.com/knowledge/ops/) [工作流子目录](https://siyuanailab.com/knowledge/workflows/) 基础设施层 - [浏览器自动化 **5**](https://siyuanailab.com/knowledge/workflows/infrastructure/browser-automation/) - [MCP 工具 **5**](https://siyuanailab.com/knowledge/workflows/infrastructure/mcp-tools/) - [文件系统与本地执行 **5**](https://siyuanailab.com/knowledge/workflows/infrastructure/filesystem-local/) - [API 网关与工具路由 **5**](https://siyuanailab.com/knowledge/workflows/infrastructure/api-tool-routing/) Skill 生产线 - [目标明确 **5**](https://siyuanailab.com/knowledge/workflows/skill-forge/goal-definition/) - [Skill 设计 **5**](https://siyuanailab.com/knowledge/workflows/skill-forge/skill-design/) - [代码实现 **5**](https://siyuanailab.com/knowledge/workflows/skill-forge/implementation/) - [测试评估 **5**](https://siyuanailab.com/knowledge/workflows/skill-forge/testing-evaluation/) - [WF-036 测试评估参考：claw bench](https://siyuanailab.com/knowledge/workflows/skill-forge/testing-evaluation/skill-forge-evaluation-claw-bench/) - [WF-037 测试评估参考：clawbench](https://siyuanailab.com/knowledge/workflows/skill-forge/testing-evaluation/skill-forge-evaluation-clawbench/) - [WF-038 测试评估参考：crab](https://siyuanailab.com/knowledge/workflows/skill-forge/testing-evaluation/skill-forge-evaluation-crab/) - [WF-039 测试评估参考：frontier swe](https://siyuanailab.com/knowledge/workflows/skill-forge/testing-evaluation/skill-forge-evaluation-frontier-swe/) - [WF-040 测试评估参考：TheAgentCompany](https://siyuanailab.com/knowledge/workflows/skill-forge/testing-evaluation/skill-forge-evaluation-theagentcompany/) Skill 参考库 - [写作与内容 **5**](https://siyuanailab.com/knowledge/workflows/skill-library/writing-content/) - [研究与知识 **5**](https://siyuanailab.com/knowledge/workflows/skill-library/research-knowledge/) - [沟通与协作 **5**](https://siyuanailab.com/knowledge/workflows/skill-library/communication-collaboration/) - [产品与项目 **5**](https://siyuanailab.com/knowledge/workflows/skill-library/product-project/) - [数据与分析 **5**](https://siyuanailab.com/knowledge/workflows/skill-library/data-analysis/) - [创意与设计 **5**](https://siyuanailab.com/knowledge/workflows/skill-library/creative-design/) - [商业与营销 **5**](https://siyuanailab.com/knowledge/workflows/skill-library/business-marketing/) Agent Building 只收录有多步工作流、工作标准、Loop、Harness、工具链或通信机制的真 Agent；不收纯 persona、profile、curated list 或只有 system prompt 的仓库。 - [多 Agent 框架 **5**](https://siyuanailab.com/knowledge/workflows/agent-building/multi-agent-frameworks/) - [工作流编排 **5**](https://siyuanailab.com/knowledge/workflows/agent-building/workflow-orchestration/) - [Sub-agent 模式 **5**](https://siyuanailab.com/knowledge/workflows/agent-building/sub-agent-patterns/) - [Harness 与评估 **5**](https://siyuanailab.com/knowledge/workflows/agent-building/harness-evaluation/) Skill 生产线 · 测试评估 · Skill 解读 · WF-039 # 测试评估参考：frontier swe 思行致远 · 2026/6/30 · 置信度：中 测试评估evalbenchmark回归检查 一个面向超长程高难软件工程任务的 benchmark，覆盖性能工程、计算科学和机器学习研究类真实问题。 # frontier swe > 一个面向超长程高难软件工程任务的 benchmark，覆盖性能工程、计算科学和机器学习研究类真实问题。 ## 这个能力解决什么问题 FrontierSWE 解决的是普通代码 benchmark 过短、过窄，无法测出前沿 coding agent 在长周期技术挑战中的能力。它收集来自性能工程、科学计算、ML research 等领域的真实问题，并把每个任务做成包含环境、说明、测试、reward 计算和 solution 的独立目录。对 Skill 评估阶段的价值在于：它展示了如何把「难题」包装成可复现环境和可计算 reward。 ## 核心逻辑 真实输入是某个 `tasks//` 目录、agent CLI 适配器、Docker 环境、task instruction、oracle/reward/test 脚本。处理逻辑是：benchmark 在隔离环境中启动任务；agent 读取 instruction 并修改 workspace；测试脚本或 reward 计算检查性能、正确性或目标指标；`harbor_ext/` 中的 Claude Code、Codex、Cursor、Gemini、OpenCode、Qwen 等适配器用于接入不同 agent；最终输出 reward/score 和 leaderboard 分析。 ## 技术结构 - 关键模块：`tasks/` 包含 cranelift-codegen-opt、dart-style-haskell、ffmpeg-swscale-rewrite、git-to-zig、postgres-sqlite-wire-adapter、pyright-type-checking-optimization 等任务；每个任务含 `environment/Dockerfile`、`instruction.md`、`job.yaml`、`oracle.yaml`、`task.toml`、`tests/compute_reward.py`、`tests/test.sh`；`harbor_ext/` 放各 agent CLI 适配、安全、网络 allowlist、timeout 和 modal 执行；`docker/first_party_cli/` 预装一方 CLI。 - 调用链路：选择任务 -> 构建/启动 Docker 环境 -> agent adapter 执行长程修改 -> tests/reward 脚本评估 -> `scripts/score_from_reward.py` 汇总得分。 - 输入输出：输入是任务说明、代码库 workspace、agent CLI、运行预算；输出是修改后的代码、测试结果、性能 reward 和 benchmark 分数。 - 核心依赖：Docker、uv/Python、Rust/Cargo、Haskell/Dart/Zig/C/C++ 等任务语言栈、Modal/Prime Intellect 环境、各类 agent CLI。 ## 为什么值得参考 它最值得参考的是任务目录契约：instruction、environment、oracle、tests、reward 分离。评估复杂 Skill 时，也应该把「给 Agent 看什么」「环境怎么建」「真值怎么定义」「分数怎么算」分开，而不是把所有规则塞进一段说明。 ## 为什么不建议直接套用 README 很短，很多理解必须读目录结构；任务高度专业，依赖多语言编译环境、性能基准和重型 Docker。它测的是 frontier coding agent 的极限，不适合作为普通 Skill 回归的默认标准。成本、运行时间和硬件要求都可能远超日常工作流。 ## 如何改造成自己的版本 把每个内部高难任务也做成 `task/` 目录：`instruction.md` 给 Agent，`environment.md` 或 Dockerfile 写依赖，`oracle.md` 写人工判据，`tests/` 放自动检查，`score.py` 只计算分数。先用 3 个真实任务验证目录契约，再考虑接多 Agent CLI。 ## 适用场景 - 长周期代码任务、性能优化、编译器/系统/ML research 类挑战。 - 需要评估 Agent 在真实工程环境里的坚持和调试能力。 - 需要支持多个 coding agent CLI 适配。 ## 不适用场景 - 短脚本、普通 CRUD 或文档生成。 - 没有 Docker/多语言工具链/性能测试环境。 - 任务无法定义 reward 或 oracle。 ## 公开版边界 - 基于公开 README 解读。 ## 参考信息 - 原项目：[frontier-swe](https://github.com/Proximal-Labs/frontier-swe) - 作者：Proximal-Labs - 相关概念：[[长程软件工程评估]]、[[Reward 计算]]、[[任务环境契约]] - 相关卡片：[workflow-read-037](https://siyuanailab.com/knowledge/workflows/skill-forge/testing-evaluation/skill-forge-evaluation-crab/) ## 参考对象信息 **名称：**frontier-swe **作者：**Proximal-Labs **链接：**[https://github.com/Proximal-Labs/frontier-swe](https://github.com/Proximal-Labs/frontier-swe) ## 适用场景与行动 **场景：**Skill 生产线 / 测试评估 **适合谁：**关注 AI 工作流、Skill 生产和 Agent Building 的读者 **下一步：**先阅读边界说明，再判断它是否适合改造成自己的测试评估流程。 当前内容按公开来源和已审核草稿整理，只作为工作流理解与方法论参考。 涉及客户数据、外部平台、会议记录和业务系统的场景，必须保留人工确认与授权边界。 [上一张：测试评估参考：crab](https://siyuanailab.com/knowledge/workflows/skill-forge/testing-evaluation/skill-forge-evaluation-crab/) [下一张：测试评估参考：TheAgentCompany](https://siyuanailab.com/knowledge/workflows/skill-forge/testing-evaluation/skill-forge-evaluation-theagentcompany/) [返回当前分类](https://siyuanailab.com/knowledge/workflows/skill-forge/testing-evaluation/) [返回工作流专栏](https://siyuanailab.com/knowledge/workflows/)