ARTICLE DETAIL

资讯详情

深耕商务建站与企业官网运营的一线实战洞察。

oh-my-agent基准测试解读:5种Claude Code框架同场对决,它为什么拿了80.6分

oh-my-agent基准测试解读:5种Claude Code框架同场对决,它为什么拿了80.6分 人工智能AI Agent多智能体Agent 编排Agent 评测AI 技能开发工具CLI【免费下载链接】oh-my-agentMechanical verification for AI coding agents — skills pack or full harness (stop-hook gates, artifact checks, independent judges).项目地址https://gitcode.com/gh_mirrors/oh/oh-my-agent点击查看免费下载oh-my-agent 基准测试benchmark把 5 种 Claude Code 框架harness放进同一考场用同一份提示词、同一个模型、相同的预算上限让它们各自从零构建一个「儿童 3D 创意学习平台」再由自动化脚本 LLM 评审按五维指标打分。最终 oh-my-agentoma以80.6 分夺冠领先第二名 6.5 分。这篇文章带你读懂这份成绩单测试怎么设计、80.6 分从哪里来、以及结果里那些诚实的「扣分项」。一、测试怎么设计同一份提示词五支队伍挑战任务从零构建一个 3D 创意平台benchmarks/prompt.md 是这场比赛的「考题」为小学 6 年级以下儿童构建一个 AI 驱动的 3D 创意学习平台 MVP要求包含 3D 世界构建器、拖拽放置物体、AI 创意伙伴面板、探索模式、作品画廊、保存/加载技术栈指定为 Next.js TypeScript React Three Fiber Tailwind并要求产出从产品概念、用户画像、数据库设计到起步代码的13 项交付物。五名选手与「控制变量」选手机制vanilla裸 Claude Code不装任何插件/技能基线omaoh-my-agent以源码形式植入项目.agents/.claude/omcoh-my-claudecode通过--plugin-dir插件加载ecceverything-claude-code安装到用户级~/.claude/superpowerssuperpowers通过--plugin-dir插件加载测试的关键在于「同条件」同一模型claude-opus-4-6、--effort max、单次运行预算上限 $20、60 分钟超时、每个选手独立隔离的$HOME、完全非交互的claude -p模式、零人工干预。所有控制变量都记录在 benchmarks/design.md 中。二、五维评分体系满分 100 分怎么算评分标准定义在 benchmarks/scoring/multiaxis/rubric.json共五个维度维度分值考察什么打分方式⚙️ 功能 Functional35能否构建通过、45 秒内启动、5 条用户旅程可玩自动脚本 LLM 评审 规格 Spec15提示词要求的 13 项交付物是否齐全 真实 API 加分LLM 评审 ×3 轮取均值 视觉 Visual20设计反模式、儿童友好度、一致性、可访问性LLM 视觉评审 ×3 轮取均值️ 工程 Engineering20路由/组件规模、类型安全、模块化、密钥安全静态分析⚡ 效率 Efficiency10完成轮次、耗时、单文件成本运行元数据为避免 LLM 单次判分的主观波动规格轴和视觉轴的每一项都跑3 轮评审再取平均分数的 0.67 就是「3 轮中 2 轮通过」的意思实现见 judge-multi.sh。三、最终成绩单oma 80.6 分领先第二名 6.5 分修正上图只保留一张同一图片不重复引用。总分榜数据来自 benchmarks/README.md名次框架总分功能/35规格/15视觉/20工程/20效率/10 1oma80.63213.315.3155 2omc74.133.56.714.414.55 3superpowers72.9309.311.61484vanilla70.728.511.71212.565ecc70.228.59.713154一个值得注意的细节第二名的 omc功能分33.5其实比 oma 还高但规格分只有 6.7——它交了代码却没交付完整的 13 项设计文档。oma 的领先不是「代码写得更快」而是代码和设计文档两手都硬。四、逐轴拆解80.6 分从哪里来功能轴 32/35唯一失分点是「保存-重载」oma 的构建通过、dev server 在 45 秒内返回 HTTP 200、TypeScript 严格模式 0 错误5 条用户旅程中onboarding、builder、gallery 全过。失分点在 save-reload刷新页面后孩子资料名还在但放置的物体会丢失世界数据没持久化到 localStorage只拿到 1.5/3。规格轴 13.3/1513 项交付物通过 12 项oma 完成了产品概念、用户画像、用户旅程、功能清单、信息架构、UI 方向、技术架构、数据库设计、AI 提示词系统、儿童安全、起步代码、优先屏幕共 12 项仅「分步实施计划」一项缺失并因用环境变量配置调用了真实 AI API拿到 2/2 加分。诚实起见要指出上图是评审截图——输入 help me 后 AI 返回的是兜底错误提示Hmm, I got confused for a moment所以 journey-ai 只拿到 1.5/3。视觉轴 15.3/20全场最高分来自「设计反模式」3 轮视觉评审均值反模式规避 4.3/5、儿童友好 4/5、设计一致性 4/5、可访问性 3/5。对比一下就明白了vanilla 是整屏紫蓝渐变 漂浮 emoji 的「典型 AI 味」反模式仅 2.3/5oma 用克制的浅色背景 卡片式布局被评审打出全场最高的 4.3/5。工程轴 15/20 与效率轴 5/10oma 的两个短板工程strict 模式、0 个any、5 路由 11 组件、最大文件仅 164 行——全是高分但「诚实的延迟标记」TODO/MVP 注释0 个扣掉 4 分。效率31 轮是全场第二少但耗时 15m 56s全场最长、总成本 $4.04时间子项得 0 分。框架轮次时长成本源码文件单文件成本vanilla428m 56s$2.3716$0.15oma3115m 56s$4.0421$0.19omc619m 02s$1.9214$0.14ecc7910m 20s$3.8422$0.17superpowers398m 13s$1.2818$0.07数据来自 benchmarks/README.md一句话总结oma 用更多的时间和钱换来了更完整的交付和更稳的代码质量。五、诚实的边界这些分数要这样读oma 团队在 benchmarks/README.md 里主动列出了测试局限读结果时建议记住这几点superpowers 被强制绕过了 brainstorming 硬门槛——测的是「绕过门槛后的 superpowers」并非完全同条件对比每个框架只跑了一次——重跑一次可能产出不同的代码80.6 不是「稳定值」规格/视觉评审做了 3 轮取均值但 journey 评审依赖实时 dev server只能单次执行2 分以内的旅程差距应视为噪声oma 的 lint 扣分是有意的设计取舍oma 的理念是把 lint/typecheck 交给 git hooks 和 CI 层而不是让 agent 在生成时自我检查——单轮基准会把这笔账算在 agent 头上。完整的逐项得分含每项证据可查 multiaxis-score.json 与汇总文件 multiaxis-summary.json。六、如何复现这场对决整个流程脚本化入口是 benchmarks/run.sh先顺序跑完 5 个框架约 45 分钟、$15–20 API 花费再用score.sh打分、judge-multi.sh多轮评审、build-report.sh生成报告。完整命令见 benchmarks/README.md。结语80.6 分的含金量不在于它「代码写得最快」——效率轴它只拿了 5/10——而在于它是五支队伍中唯一在功能、规格、视觉、工程四个维度全面均衡的选手设计文档 12/13、零类型错误、反模式规避全场第一。如果你正在为 Claude Code 挑选增强框架这份 benchmarks/ 目录本身就是一份可复现、可审计的选型参考。赞分享人工智能AI Agent多智能体Agent 编排Agent 评测AI 技能开发工具CLI【免费下载链接】oh-my-agentMechanical verification for AI coding agents — skills pack or full harness (stop-hook gates, artifact checks, independent judges).项目地址https://gitcode.com/gh_mirrors/oh/oh-my-agent点击查看免费下载相关推荐oh-my-opencode与Claude Code对比分析为什么开源方案更胜一筹oh my opencode与Claude Code对比分析为什么开源方案更胜一筹 在AI编程助手快速发展的今天开发者面临着众多选择。Claude Code人工智能AI Agent代码智能体多智能体MCP ClientsAgent 编排PMSuperButton阴影效果深度教程提升iOS应用UI层次感的秘诀PMSuperButton阴影效果深度教程提升iOS应用UI层次感的秘诀 在iOS应用开发中按钮作为用户交互的核心元素其视觉效果直接影响整体UI质感。 PNode-lru-cache基准测试分析为什么它是最快的Node lru cache基准测试分析为什么它是最快的 LRU缓存是优化应用性能的重要工具而node lru cache在众多JavaScript LR缓存创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表
PREV
查看更多资讯
NEXT
返回资讯列表