为什么人类正在成为AI模型的”产品经理”

嘉宾：Brendan Foody ｜ Merkor CEO & 联合创始人｜领域：AI 训练与未来工作

背景与引子

2023年，当大多数人还在争论AI会不会取代人类工作时，一家名为Merkor的公司悄然崛起。他们用16个月时间，从零做到了4亿美元年收入，成为人类商业史上增长最快的公司。更令人震惊的是，他们做的事情极其简单：帮AI实验室找到最顶尖的专家，让这些专家来评估和训练AI模型。

这背后隐藏着一个几乎无人意识到的真相——AI竞赛的本质，根本不是算力竞赛，也不是数据量竞赛，而是一场“谁能更好地定义什么是好”的竞赛。全球最富有的公司愿意为此付出一切代价。而创造这一切的，是一群正在被重新定义的“人类专家”。

这场对话揭示了一个正在爆发的新职业：AI评测工程师（Eval Writer）。这是一个关乎AI进化方向、关乎未来工作形态、也关乎每个人如何找到自己在这个时代位置的核心话题。

一、嘉宾是谁

Brendan Foody，1999年出生，Merkor联合创始人兼CEO，被《福布斯》评为“最年轻的独角兽创始人”。

19岁那年，还是斯坦福大学学生的Brendan和朋友一起创办了Merkor。最初他们只是想解决一个简单问题：全球劳动力市场极度分散——企业只能触达极小比例的人才，而人才也很难找到最好的机会。他们用AI自动化了简历筛选和面试流程，在还没融资的情况下，把公司 bootstraps 到了100万美元年收入。

真正的转折发生在2023年夏天。一次偶然的机会，Brendan见到了xAI的联合创始人。他发现顶级AI实验室面临一个巨大瓶颈：如何衡量模型的能力？如何知道模型“好”到了什么程度？这需要大量真正懂行的专家——不是普通众包工人，而是真正的律师、医生、投资银行家、工程师。

从那一刻起，Merkor从一个人力资源平台转型成了AI训练的核心基础设施。他们服务全球最顶尖的AI实验室，连接数千名各领域顶尖专家，帮助这些专家定义“什么是好的”，然后用这些标准来训练和评测AI模型。

他们的数字令人窒息：16个月，从100万美元到4亿美元年收入。客户续约率超过1600%，从未流失过一个客户。

二、核心观点 TOP10

模型即产品，评测即PRD。 如果模型是产品，那评测就是产品需求文档。所有模型能力的提升，都始于对“什么是成功”的清晰定义。
评测是RL的核心瓶颈。 强化学习正在变得越来越有效，但模型的提升速度取决于我们能否给RL系统提供清晰、可衡量的成功标准。
AI竞赛的本质是定义“好”的竞赛。 全球最富有的公司都在争夺能够定义评测标准的人才，因为这是模型进化的前提。
市场受限于“人类能做到而AI做不到”的事情。 只要这个边界还在，就需要人类专家来定义边界在哪里。
新的工作类别正在被创造。 AI叙事过去三年几乎全是“工作替代”，但很少有人谈论一个全新的工作类别正在诞生。
整个经济都将变成RL环境。 未来，几乎所有行业都会需要构建自己的评测标准和训练数据体系。
未来十年，AI无法自动化的工作仍有巨大空间。 模型连帮人类安排日程都做不好，更别说复杂推理和长周期任务。
弹性需求行业最值得投入。 如果让从业者效率提升10倍会创造更多需求（如软件开发），而不是减少需求（如基础会计），这才是值得深耕的领域。
AI不会取代你，但会用AI的人会取代你。 能否借助AI工具放大自身能力，将成为决定个人竞争力的核心因素。
评测永不过时。 只要人类还想让模型变得更好，就需要专家来创建评测标准——这件事没有终点。

三、关键洞察

洞察一：AI训练的本质正在从“数据标注”转向“专家判断”。

过去训练AI模型依赖大量廉价劳动力做数据标注，标注简单的规则。但现在，模型需要的是真正的专业判断。一个律师能告诉你一份合同“红色标注”应该怎么写、什么才算高质量；一个放射科医生能告诉你X光片诊断的标准是什么；这些不是简单的标注，而是专家知识的蒸馏。只有顶级专家才能完成这种工作，这彻底改变了AI训练的劳动力结构。

洞察二：最顶尖的10%人才贡献了90%的模型提升。

Brendan分享了一个令人震惊的发现：在他们平台上，通常前10%的专家贡献了绝大多数的模型改进。这和商业世界里少数人创造绝大多数价值的规律完全一致。这意味着谁能识别出这些顶尖人才，谁就能在AI竞赛中占据决定性优势。找到这些最优秀的专家，并让他们持续参与模型训练，成为Merkor最核心的竞争力。

洞察三：AGI和超级智能比想象的要遥远得多。

Brendan明确表示，尽管有些实验室高管声称三年内会实现超级智能，但现实是这条路会更长。他预判未来十年，AI能够自动化大多数知识工作任务，但不会是一蹴而就的跨越，而是一个漫长的进化过程——而这个进化，每一步都需要人来定义“成功”的标准。

洞察四：dyslexia（阅读障碍）反而帮助他看到了别人看不到的机会。

Brendan透露自己有阅读障碍，这让他处理日常文书工作比常人困难。但他认为，正是这种不同思维方式让他能够以不同的视角观察市场变化，发现别人忽略的机会。他把这种特质总结为管理哲学：关注人的长处，而不是弥补弱点。

四、精彩金句

“整个经济都可能变成一个强化学习环境机器，构建所有的世界和情境，而我们人类就在其中定义什么是好。”

——这是Brendan对未来的核心判断。他相信未来各行各业都需要定义自己的评测标准，而这种需求会催生一个庞大的“人类定义好”的新职业群体。

“AI不会取代你。使用AI的人会取代你。”

——这句已经被说烂的话，在Brendan的语境里有了新的含义：不是泛泛地“会用AI”，而是要真正理解如何借助AI把你的专业能力放大十倍、一百倍。

“如果模型是产品，那评测就是PRD。”

——这是理解当前AI竞赛本质最简洁的框架。所有模型能力的提升，都从清晰定义“成功长什么样”开始。

五、实战案例

案例一：从甜甜圈帝国到AI基础设施

Brendan在八年级时就展现出惊人的创业天赋。他发现超市甜甜圈卖5美元一打，于是骑车去买，然后用2美元一个卖给同学。为了绕过学校禁止在校园卖东西的规定，他把摊位挪到校门50英尺外。后来有竞争者出现，卖更高档的甜甜圈，Brendan直接降价到1美元打价格战，把对手逼出市场。这段经历教会他最宝贵的一课：你真的可以“just do stuff”，不要等到完美，先开始做。

这段经历成为他后来创办Merkor的底层思维：看到机会，立刻行动，不被传统规则限制。

案例二：与xAI的相遇改变了一切

2023年8月，Brendan还是斯坦福学生时，一位客户把他们介绍给xAI的联合创始人。xAI当时刚起步，正需要能够评测代码和数学能力的专家。Merkor拥有的“没有被其他学科分心的天才软件工程师”正好符合需求。

虽然那次没有立刻达成合作，但Brendan意识到一个关键转变正在发生：AI实验室需要的不再是大量普通众包工人，而是真正顶尖的专业人才。从那一刻起，他知道自己必须All-in这个方向。

案例三：哈佛讽刺社的喜剧专家

Merkor最近雇佣了整个哈佛讽刺幽默社（Harvard Lampoon）的成员来帮助训练模型的幽默能力。他们还雇佣了艾美奖获奖编剧来提升模型的创意写作水准。这些看似“软性”的技能，其实对模型的实际应用价值巨大——一个能讲笑话、会写故事的AI助手，比一个只会回答问题的工具更有黏性。

六、行动建议

建议一：学习“评测思维”，而不是学习“使用AI”本身

为什么要做：单纯的AI使用技能会贬值，但理解如何定义“好”的能力永远不会过时。

如何开始：选择一个你擅长的领域，尝试用文字清晰定义“这个领域的优秀标准是什么”。比如，如果你做产品管理，写下“什么样的产品会被用户认为是有价值的”；如果你做销售，写下“一次成功的销售对话有哪些关键节点”。

能得到什么：当你能清晰定义标准，你就掌握了AI竞赛的核心杠杆。

建议二：成为你领域里“能用AI放大10倍能力”的人

为什么要做：在任何行业，最成功的人将是那些能让AI成倍放大自己专业能力的人。

如何开始：每周至少用AI工具完成一件你以前需要几个小时才能完成的任务，记录你使用的技巧和遇到的问题。持续迭代，找到AI和你的专业能力之间最有效的协作模式。

能得到什么：你会发现自己能完成的工作量呈数量级增长，而这会带来职业竞争力的质变。

建议三：关注“弹性需求”行业，而非“饱和需求”行业

为什么要做：有些行业让从业者效率提升10倍只会让他们失业，有些行业则会因为效率提升而创造更多需求。

如何开始：问自己一个问题：如果我能让这个领域的从业者效率提升10倍，世界需要更多还是更少这样的人？软件工程、产品设计、战略咨询的答案会是“需要更多”；基础数据录入、简单审核工作的答案会是“需要更少”。

能得到什么：你的职业投资将指向真正有长期价值的领域。

建议四：培养“可以被AI放大”而不是“会被AI替代”的技能

为什么要做：计算器出现后人们不再需要手算，但数学思维依然重要；AI出现后单纯的知识记忆不再重要，但深度推理、跨领域联结、创造性问题定义依然稀缺。

如何开始：把学习重点从“知道什么”转向“能解决什么”。练习用AI获取信息，但专注于那些需要判断力、创造力、人际连接的任务。

能得到什么：你将成为“会用AI的人”，而不是“被AI替代的人”。

建议五：主动参与“定义标准”的工作

为什么要做：无论你在什么行业，参与定义“这个行业什么算好”的机会正在增加，这是未来最有价值的职业形态之一。

如何开始：寻找你所在行业里正在发生的“标准化”工作机会。参与行业标准的讨论、为你的公司定义质量评测体系、甚至主动提出“我来帮我们评测一下AI应用效果”。

能得到什么：你将成为稀缺的人才——那种能够帮助AI理解“好”是什么样的人。

七、我的总结

这场对话揭示了AI时代最反直觉的真相之一：当所有人都在担心被AI取代时，真正的机会恰恰来自人类不可替代的那部分——我们定义“好”的能力、我们判断什么是成功的专业眼光。Merkor用16个月创造的商业奇迹，本质上是在证明：在AI竞赛中，最值钱的不是算力，不是数据，而是那些能够说清楚“这个模型应该做到什么程度”的顶尖专家。

对于每个正在思考职业方向的人，Brendan的故事指向一个明确的方向：不要试图击败AI，而是学会成为AI的“产品经理”和“评测师”。未来十年，谁能最好地定义卓越，谁就能掌控AI进化的方向——而这，将是人类工作者最持久的价值所在。

📺 播客信息

发布时间：2025-09-18
时长：1小时7分钟8秒
播放量：31881 次观看
原版视频：『YouTube』