UX研究的清算时刻:一位顶级研究负责人的辛辣反思

2 分钟阅读

UX研究的清算时刻:一位顶级研究负责人的辛辣反思

嘉宾:Judd Anon | 前Facebook、Airbnb用户研究负责人 | 领域:AI产品与未来趋势

背景与引子

2023年以来,科技行业经历了大规模裁员,而用户体验研究团队成为重灾区之一。当潮水退去,人们开始追问:为什么这么多研究团队被裁撤?是因为公司不再重视用户了吗?

答案或许比想象中更复杂。用户研究领域的资深领袖Judd Anon在个人博客上发表了一篇题为《The UX Research Reckoning is Here》的文章,引发行业热议。他提出了一个尖锐的观点:用户研究之所以在裁员潮中首当其冲,是因为整个领域在过去的15年里建立了一套“有问题”的实践方式——研究做得不少,但价值创造却远远不够。

这不是对研究人员的指责,而是对整个系统的反思。Judd Anon认为,当资金充裕时,公司大量招聘研究人员,却从未真正搞清楚该如何让研究产生价值。研究员成了服务部门,被动等待PM召唤,在产品开发周期的末尾做一些“验证性研究”。而当经济环境变化,这种低效的模式便成为首先被优化掉的部分。

那么,研究的出路在哪里?如何在产品中真正发挥价值?Judd Anon的答案可能出乎很多人的意料。

一、嘉宾是谁

Judd Anon是用户体验研究领域最具影响力的领袖之一。他的职业生涯横跨顶级科技公司,曾帮助Facebook建立用户研究实践,两度担任Airbnb用户研究负责人。在Airbnb期间,他孵化和培养了一支明星团队——他的直接下属后来分别在Slack、Notion、Figma、Robin Hood、Dualingo、Fair、Wealthfront等知名公司担任研究负责人。

这串名单足以证明Judd Anon在人才培养方面的眼光和方法。然而,他并不认为自己培养了这些人,而是认为这些人本身就是“摇滚明星”。这种谦逊背后,是他深厚的研究功力和对行业本质的洞察。

如今,Judd Anon转型成为顾问,帮助各类公司解决组织挑战、产品策略、设计研究、招聘和危机管理问题。他保持着对行业问题的锐利观察,并勇于提出“刺耳”的观点。

这场对话中,他分享了关于用户研究领域最深层的反思:为什么研究没有产生应有的影响?研究团队应该如何与产品团队建立真正的合作关系?以及,为什么很多我们习以为常的“用户中心”实践,实际上只是在表演?

二、核心观点 TOP10

  1. 用户研究正在经历清算时刻:不是研究本身有问题,而是这套实践方式需要进化。过去15年建立的研究模式正在被证明不够有效。

  2. 中层研究是问题的核心:太多研究聚焦在“中间范围”——有趣但不够聚焦,无法与业务指标直接挂钩,不能真正推动产品决策。

  3. 研究必须从项目开始就介入:把研究员当作服务部门,在产品流程末尾才召唤,是价值无法发挥的根本原因。

  4. 好的研究员需要五把工具:定性研究、可用性测试、问卷设计、应用统计、SQL/数据查询。其中第五把工具正在从SQL向AI提示工程演进。

  5. 研究员必须学会说“不”:一个研究员同时应付七个PM和二十个设计师,结果是每个项目都做不好。

  6. 微观研究能产生巨大价值:快速、可执行的微观研究——比如改变一个按钮文案——可以带来数百万美元的业务影响。

  7. 验证思维是最大的敌人:真正有效的研究心态是“我想被证明是错的”,而不是“我想让研究证明我是对的”。

  8. 公司应该整合所有洞察职能:把用户研究、市场研究、数据科学、客户反馈等不同职能整合到一个统一的洞察体系,而不是各自为战。

  9. 按关系配置研究员,而不是按比例:与其计算研究员与PM的比例,不如确保每个关键业务领域都有固定的深度合作伙伴。

  10. “用户中心绩效”是一种集体幻觉:太多时候,我们假装关心用户,实际上只是在完成一套流程符号,而没有真正打算根据研究结果改变决策。

三、关键洞察

洞察一:中间范围研究是行业的“舒适区陷阱”

Judd Anon提出了一个研究分类框架:宏观研究(战略性的、前瞻性的)、微观研究(可用性测试、快速实验)、以及中层研究(中间范围的问题)。他认为,行业过去15年花了太多时间在中间范围。

什么是中间范围?比如“我们想了解房东对支付选项的感受”。这听起来合理,但问题在于它不够聚焦,不是针对具体的业务问题,难以与OKR或漏斗指标直接挂钩。研究结果可能很有趣,但很难被转化为行动。

这并不是说这类研究没有价值。Judd Anon强调,关键是要把中层研究放到合适的位置——它是年度战略规划的一部分,而不是每个产品迭代都需要深度研究的内容。

洞察二:研究太慢是一个神话

很多人抱怨研究员太慢。Judd Anon反驳说,好的研究团队可以在一周、一天甚至48小时内完成研究并产出洞察。问题在于研究问题的定义方式,以及研究员是否从一开始就深度参与项目。

他分享了Airbnb内部一个被称为“百万美元按钮”的经典案例:研究团队发现,用户在预订流程中犹豫不决,是因为按钮上的文案让用户误以为点击后会立即被扣款。团队与内容设计团队合作,只改了七个字符——结果每年为数百万的预订转化带来贡献,单次优化就产生了数百万美元的价值。这个研究从发现洞察到验证方案,前后不过48小时。

洞察三:AB测试告诉你“是什么”,研究告诉你“为什么”

数据驱动的产品团队常常迷信AB测试。但Judd Anon指出,AB测试能给你因果关系——某个变化带来了指标提升——但很少能告诉你为什么会这样。于是团队陷入一个“无限AB测试飞轮”:一轮测试结束,指标变了,大家开始猜测原因,然后设计新的测试。

好的研究恰好能填补这个空白。研究回答“为什么”的问题,帮助团队理解变化背后的机制,从而避免重复同样的错误,或者在更大的范围内复制成功经验。理想状态是数据科学家和研究人员形成伙伴关系,共同服务于产品决策。

洞察四:NPS是一个“僵尸指标”

Judd Anon对Net Promoter Score(NPS)持强烈批评态度。他认为NPS犯了几乎所有可能的问卷设计错误:0到10的评分量表缺乏精确性,通常没有标注端点,11个选项超出了人类在移动设备上准确作答的能力范围。他与Airbnb的调查科学团队合作,用实际数据验证了这一点,发现一个简单的客户满意度问题实际上与业务结果的关联性更强。

NPS流行的原因很大程度上是“行业营销”——咨询公司和软件供应商希望人们相信这个指标的价值。当研究者真正理解调查科学时,会发现有很多更好的替代方案。

洞察五:研究员的成功标准是“他们离不开你”

当被问及如何衡量研究团队的成功时,Judd Anon给出了一个简洁而深刻的答案:你的目标应该是让产品团队在没有你的情况下无法做出决策。这不是一个关于控制的问题,而是关于建立信任和影响力的问题。

当研究员成为产品流程的核心参与者,而不是边缘的服务提供者时,他们积累的组织洞察、建立的信任关系、形成的判断力,才会产生真正的杠杆效应。这种影响力来自于持续参与,而非孤立的“交付物”。

四、精彩金句

“我们不验证,我们证伪。我们想被证明是错的。”

这句话代表了Judd Anon眼中有效研究的核心心态。大多数团队找研究员做研究,是为了得到一个支持他们已经做出的决定。但真正有价值的研究者,是那些让团队感到不舒服、挑战既有假设的人。如果你的研究从来不会让你“意外”,那它很可能只是在验证你已经相信的东西。

“每一次PM在产品流程末尾过来说’帮我跑一个快速用户测试来验证我们的假设’,那就是用户中心绩效。太晚了,这东西不重要了。我们就要发布了。他们想要的只是打勾。”

这段话精准戳中了行业的虚伪之处。“用户中心”成了口号,但实际的决策在研究之前就已经做出。把研究拖到最后,只是为了表演一个“我们也听了用户声音”的仪式感。

“产品经理喜欢问中层研究,因为中层研究可以成为他们不愿自己做决定的借口。设计师喜欢问中层研究,因为中层研究符合他们对’正确设计流程’的想象。高管喜欢问中层研究,因为他们其实不理解研究是用来干什么的。”

这段话毫不留情地指出了各方的问题。用户中心绩效不是研究员的错——是整个系统都在利用中层研究来完成自己的议程,而不是真正寻求洞察。

“好的研究告诉你问题是什么,甚至告诉你解决方案是什么。但产品应该怎么建,最终还是团队的职责。”

研究不是替代产品决策,而是为决策提供更好的信息基础。最好的研究能精确指出痛点,但它无法替代团队对商业环境、竞争态势、技术可行性的综合判断。

五、实战案例

“百万美元按钮”——微观研究创造千万价值

这是Judd Anon在Airbnb期间最常被提及的案例。团队注意到一个转化漏斗的异常:在某个环节,大量用户没有完成预订。传统的数据分析只能告诉你“这里出了问题”,但研究才能告诉你“为什么”。

研究团队通过用户访谈发现,问题出在按钮文案上。当按钮上写着“立即预订”或类似的表述时,用户会感到压力——他们担心点击后会立即被扣款,即使实际上只是一个确认步骤。团队与UX写作团队合作,将文案改为更中性的表述。改动只涉及七个字符,但这一优化让Airbnb每年额外转化了数百万次预订。

关键在于:研究前后只用了48小时。快速发现问题,快速验证假设,快速迭代。这是微观研究应有的节奏——而不是每个产品决策都需要三个月的中层调研。

“超级隐藏者”——单一用户如何改变产品方向

Judd Anon在Facebook期间还分享了另一个案例。工程团队想要用“隐藏帖子”作为质量信号——如果一个帖子被大量用户隐藏,就说明它是低质量的。但研究团队没有盲目接受这个假设,而是选择了一个更深入的方法。

研究团队找到了办公室里一个“超级隐藏者”——一个隐藏帖子频率异常高的用户。当她被邀请参与可用性测试时,情况变得清楚了:她有一个“收件箱清零”的心理模型,而Facebook的无限滚动设计让这个目标永远无法实现。于是她不停隐藏已经看过的帖子——不是因为内容质量差,而是因为她试图管理自己的信息流。

这个洞察推翻了工程团队的假设。如果用“隐藏”次数作为质量信号,会把这类用户的正常行为误判为质量问题。最终团队基于这个单一用户的洞察,重新设计了信号模型。

这说明:N=1的研究有时候比大样本但方向错误的调研更有价值。关键不在于样本量,而在于研究是否能够挑战你的核心假设。

六、行动建议

1. 把研究员嵌入产品流程,从第一天开始

为什么要做:研究的最大价值不在于产出洞察文档,而在于影响决策过程。如果研究员只在项目末尾被召唤,他们无法真正理解要解决的问题,也来不及在最关键的节点发挥作用。

如何开始:下次项目启动时,邀请研究员参与kickoff会议,即使这周还没有“研究任务”要交付。你可能会惊讶于他们在问题框架上的洞察,以及他们会提出什么样的研究问题。

能得到什么:当研究员真正理解项目背景,他们可以提出更有针对性的研究问题,设计更精准的验证方案,并在结果出来后直接参与决策讨论。

2. 学会区分“中间范围问题”和“关键问题”

为什么要做:每个产品团队都有无限多的用户问题可以研究,但资源有限。区分哪些问题值得深度研究,哪些可以通过快速微观方法解决,是提高研究效率的关键。

如何开始:拿到研究需求时,追问PM:“这个问题的答案会改变你的决定吗?如果研究结果是A,你会怎么做?如果是B呢?”如果他们无法回答这个问题,说明问题本身可能还不够聚焦。

能得到什么:你不会陷入无休止的“发现之旅”,而是可以把精力集中在真正能推动产品决策的洞察上。

3. 建立“证伪”而不是“验证”的研究心态

为什么要做:当我们想“验证”某个假设时,我们倾向于寻找支持证据,忽略反驳证据。这导致研究结论常常是团队已经知道的事情。而“证伪”心态强迫我们去寻找最有力的反驳证据,从而产生真正的学习。

如何开始:下次听到“研究结果证明我们是对的”这样的表述时,反问:“研究有没有发现任何我们预期之外的东西?”如果没有,可能研究的方向本身就是错的。

能得到什么:更有价值的洞察,更少的“确认偏误”,以及团队对你专业能力的更深信任。

4. 保护研究员的时间,不要让他们超载

为什么要做:一个研究员同时应付七个PM和二十个设计师,听起来很忙,但实际上每个项目都做不深。Judd Anon建议,理想状态下,研究员的“满负荷”是三件事——两个大项目加一个小项目。

如何开始:如果你是PM,评估你当前分配给研究员的项目数量。如果超过三个,认真考虑优先级排序。如果你是研究员,学会说“不”,并帮助PM理解为什么深度参与比广泛覆盖更有价值。

能得到什么:更高质量的研究输出,更清晰的合作关系,以及研究员有精力去做那些真正重要的战略研究。

5. 不要相信NPS,用更简单、更准确的问题替代它

为什么要做:NPS是一个有缺陷的指标——它的量表设计有问题,11个选项超出了准确的作答能力,而且与实际业务结果的相关性不如更简单的满意度指标。

如何开始:用“总体而言,你对使用Airbnb的体验满意吗?”这样简单直接的问题替代NPS。如果你在一个已经使用NPS的组织里,可以先在小范围内做A/B测试,证明简单满意度指标与业务结果的相关性更强。

能得到什么:更准确的数据,更低的调查完成难度,以及一个可以用于内部对比的可靠指标。

七、我的总结

Judd Anon的“UX研究清算”并非宣判研究的死刑,而是呼唤一场进化。过去15年,我们建立了一套以“服务提供者”定位用户研究、以“验证”心态开展研究、以“有趣但不够聚焦”的中层研究为核心的实践模式。这套模式在资金充裕时可以被容忍,但在资源受限的环境下会成为第一个被削减的对象。

出路不在于证明研究有多重要,而在于真正产出不可替代的价值。这意味着研究员需要进化为多工具持有者,能够在漏斗的任何层面(从战略到执行)贡献洞察;意味着研究需要从“项目末尾的服务”进化为“产品流程的核心参与者”;意味着整个组织需要打破洞察职能的孤岛,把用户研究、市场研究、数据科学、客户反馈整合为一个统一的引擎。

Judd Anon的最终建议简洁有力:走到你的研究员身边。如果你建立的是真正的合作伙伴关系,产出的是真正推动决策的洞察,那么裁员潮不会是危机,而会是证明研究价值的最好时机。


📺 播客信息

  • 发布时间:2024-01-04
  • 时长:1小时14分钟35秒
  • 播放量:49607 次观看
  • 原版视频:『YouTube