有意义的测量数据:Project Athena 创新性计划的真实环境测试

由 Sudha Ganesh、Jim Scovell 和 Clem Wong 创作

BUILT IN - ARTICLE INTRO SECOND COMPONENT

多年来,个人电脑行业一直面临着一个核心问题:测试笔记本电脑的“正确”方式是什么?

传统的基准测试已经通过在实验室条件下进行高度可重复的测试,成功地测量出原始计算能力。但是,经过大量以人为本的研究,英特尔发现这些基准并不能完全反映对人们来说最有意义的标准。合适的性能基准和纯粹的处理速度仍然很重要,但它们并不代表最佳笔记本电脑体验的全貌。人们希望拥有一款随时就绪的笔记本电脑,来帮助他们在一整天的多线程工作期间始终保持专注和敏锐的响应 — 且电池电力充沛。

人们关注纯粹处理速度的原因可能只在于它对体验的影响,但这并不能定义他们对优秀笔记本电脑体验的全部期望。这就是为什么当我们在 2019 年启动 Project Athena 创新计划时,将测试方法的目标确定为解决这些人类的、真实环境的需求。

这就是为什么我们要定期更新这种测试方法以及其后的每一项 Project Athena 规格,以反映有关最新趋势的新研究。例如,带有英特尔 Evo™ 品牌的笔记本电脑必须满足第二版 Project Athena 规范的所有测试要求,旨在满足现实世界的用户体验需求。

英特尔坚信,测试笔记本电脑的“正确”方式是使用能够测量真实用户体验的指标。测试结果反映真正的用户效用和价值 — 这些才是对于人们来说真正有意义的东西。

为了帮助行业推出一种新型的高端笔记本电脑,英特尔开发了一种独一无二的自动化测试工具,该工具:

1.专注于关键体验
2.反映真实环境的工作流程和条件
3.为原始设备制造商提供支持,以优化平台设计

有意义的关键体验

Project Athena 对设计的三项基本的关键体验进行严格的测试:稳定的响应能力1、即时唤醒功能,以及全天候无忧的电池寿命。2 这些来自人种学研究的体验可以通过一组关键体验指标 (KEI) 进行衡量,在此基础之上展开的笔记本电脑创新将深具影响力。

将人们及其体验作为出发点

Project Athena 的真实环境测试基于广泛、深入的研究,以识别对人们来说最重要的体验,特别是那些雄心勃勃、要求极高的用户希望从自己的笔记本电脑中获得的毫不妥协的最佳体验:

以人为本的创新:围绕以人为本的创新,英特尔研究团队拥有超过 15 年的全球研究经验,对于人们如何使用笔记本电脑、有哪些痛点,以及如何借助创新解决问题提供了一份详细的图解。这项研究通过高度沉浸的小组研究,格外关注那些依赖于笔记本电脑来管理自己充满活力、节奏飞快的个人和职业生活的人们。

识别关键体验:研究表明,人们希望他们的笔记本电脑能够帮助他们集中注意力、适应环境、随时就绪、始终联网。这有助于人们专注于当下,这样他们才能够不受干扰地工作、连接和娱乐。为了实现这一点,我们决定笔记本电脑需要在不到一秒钟的时间内唤醒;对人们的输入做出快速有效的响应;并拥有无忧的电池寿命、快速充电——这些都是 Project Athena 的关键经验。

定义关键体验指标 (KEI)

英特尔的技术专家随后将这些关键体验转化为一系列定量的 KEI — 我们真实环境测试方法的支柱:

专注于影响深远的互动:为了选择 KEI,英特尔把注意力集中在对人们的笔记本电脑体验影响最大和最有意义的任务上。在以 Evo 品牌为代表的第二版中,英特尔特别强调了本地任务与基于云计算的任务之间的联系,以更好地反映当今的敏捷工作环境。启动电子邮件、发起视频通话、创建图表和载入浏览器视频,这些都属于 Project Athena 第二版中的 25 个 KEI 中所包含的关键型互动。

技术分解:利用英特尔超过 15 年的用户测试经验,英特尔的专家们对每个 KEI 的时间目标进行了定义 - 精确到毫秒。测试采用 MOS (平均意见评分)模型来确定每一种交互的同级最佳体验的精确阈值。例如,在 Project Athena 的第二版中,一台笔记本电脑必须能够瞬间唤醒、快速播放一条 YouTube 视频,或在几秒钟内启动 Outlook。在真实环境的条件下3,,电池续航时间必须超过 9 小时以上,而且在采用全高清显示屏的前提下,只需充电 30 分钟,就能够获得 4 小时电力。4

真实环境工作流程和条件

Project Athena 创新计划用现实的“日常”流程来衡量 KEI,测试条件真实反映人们通常使用笔记本电脑的方式。相比于仅仅采用综合性工作流和人工实验室条件而言,上述方法对性能提供了更加实用的评估。

严谨、现实的工作流程

不同于那些针对特定组件(例如 CPU 或者磁盘)进行的基准测试,Project Athena 的测试旨在反映依靠笔记本电脑完成工作的人的“日常”。测试工具反复运行一个包含 200 多项任务(包括 KEI)的工作流程。基于人种学研究和遥测数据,它对人们日常使用笔记本电脑的方式进行建模。

研究揭示,人们经常在四种“计算模式”之间切换:沟通分享;个人组织;专业型生产;以及休闲式创作。这包括一切,从对性能要求不高的活动(如网页浏览、在线购物或新闻阅读),到要求较高的任务,如 Zoom 通话、 YouTube 流式播放,或借助 Google Suite 云办公。所有这一切都被纳入 Project Athena 第二版的工作流程中。 

测试工具还运行在多个应用程序(包括 Outlook、Google Chrome、Spotify、Slack 以及更多常用软件)同时打开的场景中。通过这种现实的并发运行对笔记本电脑的响应速度和电池续航时间进行测试,与整天都在进行多任务处理、浏览互联网和流式播放视频的人是一致的。

为了确保电池续航时间测试尽可能接近现实,我们采用通信和共享、休闲创作、组织和专业型生产工作流程的真实遥测数据。每项测试大约历时两小时才能完成,并且我们需要进行三个独立的测试版本来确保结果的一致性。

英特尔将以下这些真实环境洞察集成到 Project Athena 的第二版中:

真实环境洞察

第二版测试中的改进

更多人同时处理更多项任务 增加更多常用工具,包括 Spotify、LinkedIn、Slack 和 Google 云端硬盘
对响应能力的预期不断提高 将 KEI 数量从 15 个增加到 25 个;提高对所有 KEI 响应能力的要求
对电池续航时间的预期不断提高 强化工作负荷,使长达 9 小时的电池寿命更有意义;增加工作流中的延迟,反映用户在一天中工作的暂停
云的崛起 增加了 Google 云端硬盘、编辑 Google 表格文件的 KEI;添加 Google 云端硬盘作为常用任务,以及通过 Office 365 与云端的 Office 文件进行交互
采用工作上的协作和个人联系的工具 添加 Zoom 任务的 KEI;添加 Slack 作为常用任务

真实环境的使用

基于用户遥测的测试时间百分比

网页浏览 23%
工作效率 19%
流式播放媒体 6%
协作 6%
空闲时间 45%

真实环境条件

Project Athena 在真实环境中进行测试,从而提供更准确的性能评估。这种方法不同于大多数基准测试,后者通常在人工实验室条件下测量 — 例如,笔记本电脑接入墙上电源、屏幕调暗,并且没有 Wi-Fi 连接。而 Project Athena 则在测试时使用电池供电、连接至活跃的网络、背景运行常用应用程序、安装最新的软件更新、登录多个云帐户,并在 LCD 面板上将显示屏亮度设置为 ≥250 尼特。

真实环境测试工具运行 15 次,以确保响应能力 KEI 结果的一致性。工作流的每一次运行都体现了响应能力随着电池电量逐渐减少而发生的改变,此外,笔记本电脑的表现必须超越某个严格的阈值,才能获得验证。如果一款笔记本电脑未能符合这些要求,它将接受英特尔和原始设备制造商的进一步调优。在每一个工作流程中,笔记本电脑都不接入电源,因此,经过 Project Athena 验证的笔记本电脑设计可以做到随时随地响应敏捷。

将优化平台设计的能力赋予原始设备制造商

Project Athena 的真实世界测试为原始设备制造商提供了一款用于评估、调优,并改进笔记本电脑设计的自动化工具。这使原始设备制造商和整个电脑生态系统能够带来有意义的创新,从平衡的性能到一流的平台技术。

跨电脑平台驱动创新

原始设备制造商使用英特尔的真实世界测试工具来优化性能和电池续航性能,并针对整个电脑平台做出关键决策:

• 深入研究结果:自动化的测试工具使原始设备制造商得以查看多次运行中每一项 KEI 的结果。工程师可以借助这一信息识别痛点、理解问题并对系统进行调优,以获得更好的性能和电池续航能力。

CPU 以外:原始设备制造商还可以借助该工具对组件和电脑的整体平台做出决策,因为测试要求的不仅仅是处理速度。笔记本电脑还必须为在线和启用云的任务提供可靠的连接性能、为保证响应能力提供高级内存和存储,以及平台优化来满足电池续航方面的要求。

经过 Project Athena 验证:最终,每一款笔记本电脑的设计都必须满足这些 KEI 和规格的要求,才能验证为一款 Project Athena 笔记本电脑5.。这确保人们可以放心购买任意一款经过 Project Athena 验证的笔记本电脑设计,因为它必定会兑现他们最为重视的那些关键体验。

这仅仅是个开始

Project Athena 及其在真实世界测试方面的独特方法已经在帮助整个生态系统创造出针对人们的需求量身定制的完整的电脑平台。这些笔记本电脑设计已经基于一组能够在毫秒级别上衡量性能结果的 KEI 进行调优、测试和验证,能够在真实环境下提供关键体验。

英特尔将继续发展 Project Athena 的测试,以反映人们使用笔记本电脑的趋势、预期和优先事项,甚至他们目前尚未了解到的需求。

Project Athena 创新计划


通知和免责声明6 7

产品和性能信息

1

在包括多个基于云的应用和本地应用以及 Web 页面(包括 Google* Chrome、Google* G-Suite、Microsoft* Office 365、YouTube 和 Zoom)的典型使用环境下进行 25 个工作流程的性能预测时测量的基于高级版 Windows 操作系统的设计的响应速度。测试在直流电池电量 ≥ 30% 的笔记本电脑上进行,采用 802.11 无线连接和自带的硬件配置,包括 Windows* 10 和 250 尼特 LCD 屏幕亮度。基于 2020 年 8 月的测试结果,且不能保证个别笔记本电脑的性能。功率和性能根据使用、配置和其他因素而有所不同。

2

有关性能和基准测试结果的更完整信息,请访问 intel.cn/Evo

3

在真实环境中执行典型工作流程时电池电量从 100% 消耗至临界值所需的时间。有关性能和基准测试结果的更完整信息,请访问 intel.cn/Evo。 

4

从 OEM 默认关闭级别获取的电源。有关性能和基准测试结果的更完整信息,请访问 intel.cn/Evo

5

基于集成的英特尔® Wi-Fi 6 (Gig+) 和 Thunderbolt™ 4 技术。有关性能和基准测试结果的更完整信息,请访问 intel.cn/Evo

6

参加英特尔笔记本电脑创新计划 Project Athena,通过高端规格和关键经验指标的验证、测量和测试。基于 2020 年 8 月的测试结果,且不能保证个别笔记本电脑的性能。功率和性能根据使用、配置和其他因素而有所不同。有关性能和基准测试结果的更完整信息,请访问 Intel.cn/Evo

7

性能因用途、配置和其他因素而异。请访问 www.Intel.cn/PerformanceIndex 了解更多信息。

性能结果基于截至配置中所示日期的测试,并且可能无法反映所有公开的更新。有关详细配置信息,请参阅 www.intel.cn/Evo

没有任何产品或组件能够做到绝对安全。

您的成本和结果可能会有所不同。

英特尔® 技术可能需要支持的硬件、软件或服务激活。