大数据分析案例: 消费者能源管理

Pecan Street 利用数据驱动型分析能力为消费者供电

Bert Haskell,Pecan Street Inc. 技术主管

 

Pecan Street Inc. 是一个由大学、技术公司和公用事业提供商组成的非赢利性组织它们协作在智能电网技术领域进行测试、试运行和商业化运营工作。“智能电网”一词定义了公用事业行业进行电网系统改造所做的工作,其中包括采用高级计量系统、家庭能源管理系统 (HEMS)、传感器、太阳能光伏 (PV) 系统、智能家电、电动汽车以及互联网服务等,以帮助消费者提高能源效率。当前Pecan Street 已经通过德克萨斯州奥斯丁市 Mueller 社区 200 多个家庭中的传感器系统,收集了近两年的能耗数据。

Pecan Street 的主要目的是推动在消费者能源管理领域发现新的产品、服务和经济机会。我们的研究将可以向人们提供管理和减少其能耗的知识和工具,使其家庭生活更舒适。此外,公用事业公司将能够利用此类数据更好地管理电网,并投资进行更佳的基础设施改造工作。

Pecan Street 研究的核心是一种终端设备到云的架构,能够捕获多个来源的数据,并进行存储以供分析和可视化之用。我们通过一些系统收集电力数据,这些系统能够每隔六秒测量一次流过六到八个电路的电量。我们还通过使用无线网关的公用事业量表收集燃气和水的数据。此外,社区中旧机场塔台上的无线电收集器可通过高可靠性公用事业网络,将 Landis+Gyr* 高级智能量表中的数据传送到德克萨斯大学的超级计算机设施和我们的数据库中。

我们记录消费者的行为,如修改其家庭中的环境控制方式,或者调整其能源信息查看方式等。我们还计划收集来自高级恒温器、家庭自动化系统、家庭安保系统、运动探测器以及新能源技术(如太阳能板和电动汽车充电站)的数据。

在此项目中,了解消费者如何对待我们收集的数据非常关键。因此,在我们的研究中,有些参与者可以通过基于 Web 的门户或智能手机应用访问其数据。

在两年的时间里,我们捕捉了大量数据(总共有超过 80 GB 的信息);我们预计在计划实施期间数据量将增加到 1 TB。虽然 1 TB 可能看起来不是很多,但作为单个数据点,这实际是一个巨大的数量。每个数据点都代表一个唯一事件,因此对此类数据的处理极其复杂。大数据带来的挑战是整合这一来自多个分散来源的稳定非结构化数据流,并将其传输至德克萨斯大学,以进行分析和可视化处理工作。

我们正在第三代数据库架构上尝试找出存储和分析如此大量数据的方式。在第一个月过后,我们认识到我们的 MySQL* 方法无法应付复杂的查询,例如“电冰箱在 24 小时内的总体使用情况如何,是否有机会实施公用事业需求响应或调峰方案?”因此,我们迁移到了其他数据库架构,现在正在评估一个 EMC Greenplum* 大数据解决方案。Greenplum 提供了一种集成式大数据分析系统;该系统采用了大量并行处理 (MPP) 架构,没有专有硬件的复杂性和约束;所用的 Hadoop* 产品可帮助我们利用针对结构化和非结构化数据的模块化解决方案处理和分析我们的数据。

除了寻求合适的大数据分析方法,我们面临的最大挑战之一是我们收集的数据的完整性。数据系统中的无效信道或者居民宽带连接中断会提供不可靠的值。我们通过生成已知完好数据的合格数据集来解决此问题。我们将这些数据标记为极高质量,并指引研究人员使用这些数据。

包括英特尔在内的参与 Pecan Street 组织的机构将使用智能电网项目作为其新产品概念的开发平台,在此基础之上进行开拓创新。利用大数据分析,我们可以更好地了解人们的能源消费方式及其希望的能源管理方式。此外,我们可以向公用事业公司提供洞察,帮助他们在电网改造领域进行最佳投资。

Bert Haskell

 Bert Haskell

 

Pecan Street 研究的核心是一种终端设备到云的架构,能够捕获多个来源的数据,并进行存储以供分析和可视化之用。”