揭秘魔法:UX研究中的《绿野仙踪》方法
《绿野仙踪》(WOZ)方法是一种经过验证的UX研究工具,通过模拟真实交互来揭示真实的用户行为。Victor Yocco探讨了其基本原理、高级技巧和关键注意事项,包括其在新兴的代理式AI领域中的相关性。
新技术和创新概念经常进入产品开发生命周期,承诺彻底改变用户体验。然而,如果没有对用户与这些新体验交互的基本掌握,即使是最巧妙的创意也面临失败的风险。
以任天堂Power Glove的困境为例。尽管在商业上取得了成功(售出超过100万台),但其在1989年底发布后,不到一年就在1990年停产。专为Power Glove开发的两款游戏销量不佳,而且该手套在任天堂已经流行的传统主机游戏上几乎没有用处。
失败的大部分原因是观众对产品的反应,该产品(据称在8周内开发完成)笨重且不直观。用户发现将手套与特定游戏中的动作同步极其令人沮丧,因为这需要将动作编码到手套的预设动作按钮中,然后记住哪些按钮会产生哪些动作。随着任天堂WII和其他基于运动的控制器主机和游戏的现代成功,我们可以看到Power Glove是一个超前于时代的概念。
任天堂Power Glove:一把挫败感。(图片来源:ACMI)(大预览)
如果Power Glove的开发者希望在构建之前进行有效的研究,他们需要超越传统方法,如调查和访谈,以了解用户如何真正与手套交互。如果没有功能原型且不拖慢整体开发过程,这该如何实现?
引入《绿野仙踪》方法,作为一种潜在选项,它是弥合抽象概念与具体用户理解之间鸿沟的强大工具。该技术模拟一个全功能系统,但由人类操作员(“巫师”) discreetly orchestrate the experience。这使得研究人员能够在没有完全构建产品的前提下收集真实的用户反应和见解。
WOZ方法以Frank L. Baum的同名书籍命名。在书中,巫师只是一个藏在幕布后的人,操纵着那些穿越奥兹国的人的现实。主角多萝西揭露了巫师的本质,基本上是一个欺骗那些相信他全能的人的幻觉或骗子。类似地,WOZ获取当前可能存在或不存在的技术,并以一种应该让研究参与者相信他们正在使用现有系统或工具的方式模拟它们。
WOZ使得探索用户需求、验证新生概念和减轻开发风险成为可能,特别是对于复杂或新兴技术。
我们上面例子中的产品团队可能已经使用这种方法让用户模拟戴手套的动作、将动作编程到手套中以及玩游戏,而不需要完全功能的系统。这可能揭示出要求外行编码他们的硬件以响应游戏的不合理情况,显示在更换游戏时需要重新编码设备时遇到的挫败感,以及物理设备上控制布局的笨重(即使他们使用了一个纸板手套,上面用蜡笔在适当的位置绘制了模拟控制)。
Jeff Kelley声称(PDF)自己在1980年创造了WOZ方法一词,以描述他在论文中采用的研究方法。然而,Paula Roe将Don Norman和Allan Munro归功于早在1973年就使用该方法对机场自动旅行助手进行测试。无论该方法起源于谁,双方都同意,当IBM后来使用它进行一项名为“听写打字机”的语音转文本工具的研究时,它获得了 prominence(见下图)。
绿野仙踪测试:听写打字机 IBM 1984。(图片来源:CDS)(大预览)
在本文中,我将介绍WOZ方法的核心原则,探索从实践经验中提取的高级应用,并通过真实世界的例子展示其独特价值,包括其在代理式AI领域的应用。UX从业者可以使用WOZ方法作为另一种工具来解锁用户见解并打造以人为本的产品和体验。
黄砖路:核心原则与机制
WOZ方法基于用户相信他们正在与一个自主系统交互,而一个人类巫师在幕后管理系统响应的前提。这个人,通常远程定位(或屏幕外),解释用户输入并生成模仿预期体验功能的输出。
角色阵容
一个成功的WOZ研究涉及几个关键角色:
- 用户:参与他们认为是功能系统的参与者。
- 协调员:引导用户完成预定义任务并观察其行为和反应的研究员。
- 巫师:实时操纵系统行为,提供对用户输入的响应的人。
- 观察员(可选):额外研究员,观察会话而无直接互动,允许对用户行为有次要视角。
为可信度搭建舞台:离开堪萨斯
创造一个令人信服的幻觉是WOZ研究成功的关键。这需要仔细规划研究环境和用户将承担的任务。考虑一项评估智能家居设备新语音命令系统的研究。研究设置可能涉及一个智能扬声器的物理模型和预定义场景,如“播放我最喜欢的音乐”或“调暗客厅灯光”。巫师远程监听,然后触发适当的响应(例如,播放歌曲,口头确认灯光已调暗)。
或者可能是一个基于屏幕的体验,测试一个新的AI驱动的聊天机器人。你让用户在文本框中输入命令,产品团队的另一个成员使用像Figma/Figjam、Miro、Mural或其他允许多用户同时协作的基于云的软件同时提供响应(作者与任何提及的产品无关联)。
幻觉的艺术
维持真实系统的幻觉需要以下:
- 及时自然的响应:巫师必须以最小的延迟并以符合预期系统行为的方式对用户输入作出反应。犹豫或不自然的措辞可能打破幻觉。
- 一致的系统逻辑:响应应遵守预定义的逻辑。例如,如果用户询问特定城市的天气,巫师应 consistently 提供准确信息。
- 处理意外:用户将不可避免地偏离计划路径。巫师必须具备适应性,以 plausible 响应 unforeseen 输入,同时保持 perceived 功能。
伦理考虑
透明度至关重要,即使在涉及一定程度欺骗的方法中。参与者应在会话后始终接受汇报,并 clear 解释绿野仙踪技术及其使用原因。数据隐私必须像任何研究一样得到维护,参与者应在整个过程中感到舒适和受尊重。
区分方法
WOZ方法在UX研究工具包中占据独特空间:
- 与评估现有界面的可用性测试不同,绿野仙踪在重大开发之前探索概念。
- 与比较产品设计变体的A/B测试不同,WOZ评估 entirely 新功能,这些功能如果展示给用户可能 otherwise 缺乏上下文。
- 与 often 涉及静态模型的传统原型设计相比,WOZ提供动态和交互式体验, enabling 观察与模拟系统的实时用户行为。
当探索真正新颖的交互或复杂系统时,该方法证明 particularly 有价值,其中构建全功能原型为时过早或资源密集。它允许研究人员在投入 significant 开发努力之前回答关于用户需求和期望的基本问题。
让我们超越WOZ方法的基础方面,探索一些可以提升其有效性的更高级技巧和关键考虑因素。
时间节省:WOZ与粗糙原型设计
问WOZ是否 truly 比甚至更粗糙的原型方法(如纸质原型或静态数字模型)节省时间是公平的。
虽然纸质原型对于基本流程和布局的创建和测试 incredibly 快速,但它们 fundamentally 缺乏动态响应能力。静态模型提供视觉保真度,但无法模拟复杂交互或个性化输出。
WOZ的真正时间节省优势在测试新颖、复杂或AI驱动的概念时显现。它允许研究人员在看似实时的环境中评估 genuine 用户交互和心理模型,收集更简单原型无法获得的丰富行为数据。这种模拟动态体验的保真度,即使幕后有人, often 比纯粹静态表示更早、更全面地揭示关键可用性或概念缺陷, ultimately 防止开发管道中代价高昂的返工。
额外技巧与考虑
虽然WOZ方法的核心原则 straightforward,但其真正力量在于 nuanced 应用和周全执行。经验丰富的从业者可能利用几种高级技巧来提取更丰富的见解并解决更复杂的研究问题。
迭代巫术
WOZ方法不一定是 one-off 努力。在迭代周期中采用它可以 yield significant 好处。初始轮可能专注于 broad 概念验证和识别 fundamental 用户反应。随后的迭代可以 then 基于先前发现 refine 模拟功能。
例如,在初步研究显示用户对特定交互流程感到困惑后,可以调整模拟,并进行后续研究以评估这些更改的影响。这种迭代方法允许对复杂体验进行更敏捷和以用户为中心的探索。
管理复杂性
模拟复杂系统对一个人来说可能 difficult。将复杂交互分解为更小、可管理的步骤至关重要。考虑研究新软件应用程序的多步 onboarding 过程。与其让一个人尝试模拟整个流程,不如由多个团队成员 sequentially 或甚至协调他们的响应来处理不同方面。
在这种情况下, clear 沟通协议和明确定义的责任对于维持 seamless 用户体验至关重要。
超越观察衡量成功
虽然定性观察是WOZ方法的 cornerstone,但定义 clear 指标可以为发现增加一层严谨性。这些指标应匹配研究目标。例如,如果目标是评估新导航模式的直观性,你可能会跟踪用户表达困惑的次数或他们完成特定任务所需的时间。
将这些定量测量与定性见解相结合,提供了对用户体验的更全面理解。
与其他方法集成
WOZ方法不是一个孤岛。通过将其与其他研究技术集成,可以放大其有效性。在WOZ研究之前进行用户访谈可以帮助建立对用户需求和心理模型的更深入理解,为模拟体验的设计提供信息。在WOZ研究之后,调查可以收集关于所探索概念的 broader 定量反馈。例如,在观察用户与模拟AI驱动的调度工具交互后,一项调查可以评估他们对这种系统的整体信任和 perceived 有用性。
何时不使用WOZ
WOZ,与所有方法一样,有局限性。其他方法可能 yield 更可靠发现的一些场景示例包括:
- 详细可用性测试:人类 acting as 巫师无法完美复制用户将遇到的确切体验。WOZ often 最好在早期阶段使用,其中原型是粗略草案,你的团队正在寻找关于正在考虑的解决方案的指导。当你进入详细设计阶段时,在更详细的线框图或原型上测试将比WOZ更可取。
- 评估具有不可预测输出的 extremely 复杂系统:如果系统的响应 extremely 多样,需要 sophisticated 实时计算超出人类能力,或 intended 真正不可预测,人类可能 struggle 以令人信服和一致的方式模拟它们。这可能导致疲劳、错误或不反映 intended 系统的即兴发挥, thereby 损害发现的有效性。
培训与准备
巫师的技能对方法的成功至关重要。培训将模拟系统的个人是 essential。该培训应涵盖:
- 理解研究目标:巫师需要掌握研究旨在 uncover 什么。
- 响应一致性:在整个会话中保持一致行为对于用户可信度至关重要。
- 预测用户行动:虽然即兴发挥有时 necessary,但巫师应准备好 common 用户路径和潜在偏差。
- 保持无偏见:巫师必须避免引导用户或将他们自己的意见注入模拟。
- 处理意外输入:应建立 clear 协议来处理 unforeseen 用户行动。这可能涉及有一套预先准备好的备用响应或一种与协调员快速协商的机制。
所有这些都表明在实际运行会话之前需要练习。我们不应忘记进行一些 dry runs,其中我们请我们的同事或愿意协助的人不仅参与,而且思考可能 responses that could stump the wizard or throw things off if the user might provide them during a live session。
我建议准备好一个可信的 prepared error statement,以便在用户抛出曲线球时使用。巫师的一个简单响应“抱歉,我目前无法执行该任务”可能足以推动会话 forward,同时也 capturing 一个 potentially 意外情况,你的团队可以在最终产品设计中解决。
这都是一场梦吗?汇报的艺术
WOZ交互后的汇报会话是收集丰富定性数据的额外机会。除了问“你怎么想?”之外,有效的汇报涉及分享研究目的和体验是模拟的事实。
研究人员应 then 进行心理 probing 以理解用户行为和反应背后的原因。问开放式问题,如“你为什么尝试那个?”或“当你点击那个按钮时期望发生什么?”可以揭示关于用户心理模型和期望的宝贵见解。
详细探索困惑、挫败或喜悦的时刻可以 uncover 关键的设计改进领域。想想Power Gloves开发团队如果询问参与者编程手套并试图记住他们将什么编程到哪组键中的体验,可能 uncover 的潜在信息。
案例研究:实际应用
WOZ方法的价值在检查其在真实世界研究场景中的应用时变得明显。这里是一个场景的深入审查和另一个涉及WOZ的研究的快速总结,其中该技术在塑造用户体验方面证明 invaluable。
解开代理式AI:理解用户心理模型
新兴技术领域的一个 significant 挑战在于用户理解。当我们的团队开始探索代理式AI用于企业HR软件的潜力时,这一点 particularly 明显。
代理式AI指的是可以自主追求目标的人工智能系统,通过做出决策、采取行动和适应变化环境,以最小的人类干预。与 primarily 响应直接命令或生成内容的生成式AI不同,代理式AI designed 理解用户意图,独立规划和执行多步任务,并从其交互中学习以随时间提高性能。这些系统 often 结合多个AI模型,并可以通过复杂问题推理。对于设计师来说,这标志着向创建体验的转变,其中AI更像一个 proactive 合作者或助手,能够预测需求并主动帮助用户实现目标,而不是 solely 依赖 explicit 用户指令 for every step。
初步研究,包括调查和初始访谈,表明许多HR专业人士,虽然对AI辅助的概念 intrigued,但 struggled 掌握真正代理式系统的潜在功能和实际含义——那些能够自主行动和主动决策的系统。我们看到他们对代理式AI是什么没有参考点,即使我们尝试了与当前例子的相关类比。
在这个探索阶段构建一个全功能代理式AI原型是不切实际的。底层算法和集成复杂且耗时开发。 Moreover,我们 risked 基于 potentially 有缺陷的用户需求理解假设构建解决方案。WOZ方法提供了一个解决方案。
设置
我们设计了一个场景,其中HR员工与他们认为是一个智能AI助手的东西交互,该助手能够自主处理某些任务。协调员向用户展示一个Web界面,他们可以请求协助任务,如“为新营销招聘起草个性化入职计划”或“基于最近活动识别可能受益于主动健康资源的员工”。
幕后,一个设计师 acted as 巫师。基于用户的请求和(模拟的)可用数据,设计师会 craft 一个模仿代理式AI输出的响应。对于入职计划,这涉及组装预写模板并用用户提供的细节个性化它们。对于健康资源识别,巫师会基于场景中讨论的一般指标选择一个 plausible 员工列表。
关键的是,协调员鼓励用户自然交互,询问后续问题并探索系统的 perceived 能力。例如,用户可能会问,“系统也能安排初始团队介绍吗?”巫师, guided by 预定义规则和整体研究目标,会相应响应, perhaps with a “是的,我可以基于每个人的日历自动提议会议时间”(再次,模拟)。
如 recommended,我们在每个会话后向参与者汇报。我们以透明度开始,解释模拟以及我们有另一个真人根据参与者所说的发布响应。开放式问题探索了初始反应和设想的使用。任务特定 probing,如“你为什么期望那个?”揭示了 underlying 假设。我们 specifically 解决了信任和控制(“多少信任…?什么级别的控制…?”)。为了理解心理模型,我们询问用户认为“AI”如何工作。我们也 solicited 改进建议(“什么功能…?”)。
通过专注于用户行动和期望背后的“为什么”,这些汇报提供了丰富的定性数据, directly 为后续设计决策提供信息, particularly 围绕透明度、人类监督和优先排序 specific,高价值用例。我们还有一个理解代理式AI的研究参与者,可以基于该理解提供额外见解。
关键见解
这项WOZ研究 yielded 几个关于HR上下文中代理式AI用户心理模型的 crucial 见解:
- 高估能力:一些用户 initially 将近乎神奇的能力归因于“AI”,期望它理解高度 nuanced 或 ambiguous 请求而无需 explicit 指令。这 highlighted 需要 clear 沟通关于系统的实际范围和限制。
- 信任与控制:一个 significant 主题围绕信任和控制。用户表达了关于潜在时间节省的兴奋和对放弃重要HR流程控制的焦虑。这 indicated 需要提供对AI决策透明度的设计解决方案并允许人类监督。
- 主动协助的价值:用户对AI主动识别潜在问题(如倦怠风险)反应 positively,但他们强调了AI提供 clear 推理并允许人类HR专业人士审查和批准任何建议行动的重要性。
- 需要具体例子:代理式AI的抽象解释 insufficient。用户通过这些与具体任务和结果的模拟交互获得了 much clearer 理解。
resulting 设计更改
基于这些发现,我们做了几个关键设计决策:
- 强调透明度:用户界面需要 clearly 显示AI的推理和它用于做出决策的数据。
- 人类监督与审查:内置批准工作流对于关键行动 essential,确保HR专业人士 retain 控制。
- 专注于特定、高价值用例:与其尝试构建一个通用代理,我们优先排序了代理式能力提供 clear 和 demonstrable 好处的特定用例。
- 教育性入职:产品入职将包括 clear,具体例子 of the AI’s capabilities in action。
探索车内系统的语音交互
在另一个项目中,我们使用WOZ方法评估用户与用于控制车内功能的语音界面的交互。我们的研究问题 focused on 语音命令对于调整气候控制、导航到兴趣点和管理媒体播放等任务的自然性和效率。
我们建立了一个带有麦克风和扬声器的汽车驾驶室模拟器。巫师,位于相邻房间,监听用户的语音命令并触发相应行动(通过显示器上的视觉变化和音频反馈模拟)。这使我们能够识别 ambiguous 命令、用户对语音识别的挫败感区域(即使它是人类驱动的),以及在不同措辞和交互风格上的偏好, before 投资于复杂语音识别技术。
这些例子说明了该方法在解决跨多样产品类型和技术复杂性的广泛UX研究问题方面的多功能性和力量。通过模拟功能,我们可以在设计过程的早期获得关于用户行为和期望的 invaluable 见解, leading to 更以用户为中心和 ultimately 更成功的产品。
巫术的未来:适应新兴技术
WOZ方法,远非更简单技术时代的 relic, retains 相关性,因为我们 navigate increasingly sophisticated 和 often opaque 新兴技术。
WOZ方法的核心优势,即用人类 ingenuity 模拟复杂功能的能力,使其 uniquely 适合探索用户与仍处于 nascent 阶段的系统的交互。
“AI时代的WOZ”
考虑AI驱动体验的 burgeoning 领域。例如,研究用户与生成式AI的交互可以通过WOZ有效完成。巫师可以策划和呈现AI生成的内容(文本、图像、代码)以响应用户提示,允许研究人员评估用户对质量、相关性和信任的感知,而无需 fully trained 和 integrated AI模型。
类似地,对于个性化推荐系统,一个人可以基于用户的 stated 偏好和 observed 行为模拟推荐,在算法开发之前收集关于此类建议的 perceived 准确性和 helpfulness 的宝贵反馈。
甚至自主系统,看似人类控制的对立面,也可以受益于WOZ研究。通过