观察定位、修改、测试与回归处理能力，不只记录最终通过率。
- SWE-bench 类任务
- 固定代码库快照
- 失败路径分析
BENCHMARKS / 评测
先判断能不能比，再讨论谁更强。
AI Coding 评测最容易被忽略的，不是分数，而是版本、环境、预算和运行策略。Aha Coder 先公开比较条件，再公开结果。
PUBLIC FRAMEWORK方法框架已公开
RESULT SET筹备中
REPRODUCIBILITY日志优先
查看完整方法论 → EVALUATION CONTRACT
每一条可比较结论，都必须回答五个问题
- 01 / TASK
做的是什么任务？
公开任务集、样本范围、抽样方法与排除规则。
- 02 / VERSION
使用哪个版本？
记录工具版本、模型快照、发布日期与功能开关。
- 03 / BUDGET
允许花多少资源？
对齐 token、运行时间、重试次数与实际成本上限。
- 04 / ENV
运行环境是否一致？
锁定代码库、依赖、系统权限、网络与测试命令。
- 05 / TRACE
能否复查过程？
保留输出、操作轨迹、失败样本和人工干预记录。
PLANNED EVALUATIONS
首批评测方向
先小样本公开，再逐步扩展在中型项目中完成跨文件需求，记录上下文使用、返工与验证质量。
- 前后端小功能
- 统一验收测试
- 人工评审盲测
比较云端 Agent 在长时任务中的稳定性、可恢复性与人工接管成本。
- 阶段性检查点
- 中断恢复记录
- 成本与时延
EDITORIAL NOTE