智能电网负荷预测基于伯特网络模型在低碳经济gydF4y2Ba

1介绍gydF4y2Ba

随着全球经济的不断发展,能源消费继续增长,导致上升的温室气体排放,加剧全球气候危机和气候变化的速度。因此,实现碳中和和减少碳排放已成为所有国家的共同目标。电力系统的重要组成部分,为实现目标管理尤为重要。电力系统调度可以实现能量更有效地管理和利用,可再生和不可再生。此外,电力系统资源管理还可以鼓励和促进可再生能源的开发和应用。通过技术创新和合作和分享,电力公司可以实现更聪明,有效和可持续的电力系统资源管理、和碳中立和碳减排行动作出更大的贡献gydF4y2Ba元et al。(2023)gydF4y2Ba。gydF4y2Ba

图1gydF4y2Ba配电变压器,分布在城市和农村地区,是最重要的终端设备在电力系统有大量和复杂的结构。他们的安全、经济运行是一个重要的条件,以确保电网的高质量的发展。大数据的深度集成、人工智能技术和电网业务,配电变压器负荷预测已经成为一个重要的基础支持电网生产经营,和它的负荷预测的准确性具有重要意义为变压器关键监测、现场抢修工作活跃、承载力分析和其他业务。gydF4y2Ba

目前的负荷预测技术主要包括人工神经网络、支持向量回归、决策树、线性回归、模糊集gydF4y2Ba贾汗et al。(2020)gydF4y2Ba。这些方法都是基于历史重合的关联挖掘的数据和预测数据。换句话说,回归分析方法是基于因果关系模型来预测相应的数据,和时间序列预测方法完成了负荷预测通过曲线拟合和参数估计的负荷历史数据。这些方法由于其结构简单和灵活性差。很难满足预测精度gydF4y2Ba侯et al。(2022)gydF4y2Ba所需的实践。上面的方法通常有以下问题1)的历史负荷数据系列很短,通常面临的挑战数据样本不足;gydF4y2Ba赵et al。(2021)gydF4y2Ba。2)传统预测方法的预测精度不高,很难被应用于生产实践。3)性能预测方法的普遍性和贫穷。gydF4y2Ba

1.1的动力gydF4y2Ba

最近,由于人工智能方法的优势在数据预测和智能分析,电力系统负荷预测基于机器学习(毫升)gydF4y2Ba廖et al . (2021)gydF4y2Ba;gydF4y2Ba元et al。(2023)gydF4y2Ba逐渐出现了。例如,基于时间序列的负荷预测模型可以扩展到一个多层次回归模型来预测电力负荷电网电力通过建立时间序列模型或方法基于支持向量机(SVM)可以使用自己的优秀的二元分类特征。gydF4y2Ba

然而,这些传统ML预测方案,如LSTM、卷积神经网络(CNN)和递归神经网络(RNN),都有预测精度差、效率低的问题。双向编码器陈述变压器(BERT)模型创新利用self-attention和位置嵌入编码序列gydF4y2Baet al。(2023)gydF4y2Ba,与时间无关,可以并行计算,从而实现更高的负荷预测精度。然而,传统的预测算法RNN的结构改进,时间序列的概念和不能并行计算。第二,传统模型结构(如LSTM, CNN, RNN)不解释gydF4y2Ba王et al。(2021)gydF4y2Ba伯特的变压器,而self-attention机制可以产生更全面的模型。这是非常有利于智能电网系统。鉴于伯特强大的处理能力和理解高维数据,它可以实现高负荷预测效果。本文提出一种BERT-based电力系统负荷预测的架构。也就是说,通过合理的负荷预测,可再生能源的利用率最大化,可再生能源在电力系统的比例可以增加。gydF4y2Ba

1.2相关工作gydF4y2Ba

负荷预测是电力系统操作和一个至关重要的组成部分发挥着不可缺少的角色在实现碳中和,降低排放。它使电力系统管理者准确地预测未来的电力需求,促进电力生产和分配优化计划gydF4y2BaAhmad et al。(2022)gydF4y2Ba。采用科学的负荷预测,过多或不足的电力生产可以避免,导致减少电力浪费和碳排放。例如,解决电力系统紧急控制的挑战和不确定性,gydF4y2Ba黄et al。(2019)gydF4y2Ba提出了一种自适应紧急控制方案基于强化学习(DRL)。他们还开发了一个开源平台称为强化学习网格控件(RLGC),它提供了各种电力系统控制算法和基准算法,支持和加强。在gydF4y2BaGasparin et al。(2022)gydF4y2Ba深度学习技术应用于电力负荷预测。研究评估不同的体系结构的影响,如前馈和复发性神经网络,sequence-to-sequence模型,和时间卷积神经网络负荷预测的性能。结构变量的实验进行比较这些模型对负荷预测的鲁棒性和有效性。从电力系统网络安全的角度;gydF4y2Ba刘et al。(2020)gydF4y2Ba提出了一种基于深度的网络安全评估方法Q-network (DQN)。这种方法近似最优攻击迁移策略确定所需数量的迁移,从而提高电力系统的安全。的作者gydF4y2BaBiagioni et al。(2022)gydF4y2Ba引入一个灵活的模块化扩展框架,作为一个模拟环境和各种代理算法在电力系统实验平台。他们验证框架的性能使用多代理深决定性策略梯度算法,解决电力系统代理培训的空白。在gydF4y2Ba谭和岳(2022)gydF4y2BaBERT-based时间序列预测模型,用于预测风力发电在电网负荷。该方法有效地预测未来负荷模式。gydF4y2Ba

在用户电力消费行为领域,不同的研究一直在进行。例如,在gydF4y2Ba酒吧间招待员和Choudhury (2020)gydF4y2Ba作者分析demand-compliant电力消费者的行为,并提出混合参数选择策略,结合了灰狼优化算法和支持向量机。这种方法考虑用户需求预测电力系统负荷的变化。在gydF4y2Ba王(2017)gydF4y2Ba,多个通常影响负荷的因素,如天气情况,考虑。作者采用多元线性回归分析来确定回归系数和标准差,使负荷预测在不同天气条件下。考虑到电力负荷场景在一个城市,gydF4y2Ba李et al。(2018)gydF4y2Ba介绍了一种数据驱动的线性聚类策略。这种策略涉及到数据预处理和建模构造最优的自回归移动平均模型集成。方法证明有效的误差预测和提高城市的电力系统负荷预测的准确性。在gydF4y2BaSaviozzi et al。(2019)gydF4y2Ba,作者解决配电系统运营商的业务需求并提出一个集成人工神经网络负荷预测和合规现代分销管理系统的建模方法。展品的方法更好的适应性和更高的性能,通过实际使用验证。gydF4y2Ba

与上述方法相比,gydF4y2BaDu et al。(2020)gydF4y2Ba地址的局限性传统大规模非线性时间序列预测方法加载数据。他们提出一个attention-BiLSTM网络,利用BiLSTM预测短期电力负荷的资金。注意力机制采用这样的方法会提高预测精度和稳定性。加强综合数据的时序特征,gydF4y2Ba阴和谢(2021)gydF4y2Ba介绍了multi-time-spatial规模数据处理方法,提出了一个短期的丰富恶化预测方法。在gydF4y2BaChapaloglou et al。(2019)gydF4y2Ba,一个巧合的预测使用前馈人工神经网络算法设计。算法执行预测基于当前负载曲线形状分类。结合前馈神经网络和递归神经网络,gydF4y2Ba喧嚣和Marnerides (2017)gydF4y2Ba电力系统的短期负荷预测。这种方法有效地识别影响负荷和能耗的主要因素,使准确的短期负荷预测。研究在gydF4y2Ba阴et al。(2020)gydF4y2Ba侧重于森林深处回归方法,利用两个完整有效培训和数据学习的随机森林。这种方法提高了预测精度,减轻深度学习方法参数配置的影响。为了解决传统方法的预测精度较低,gydF4y2BaRafi et al。(2021)gydF4y2Ba提出了一种基于卷积神经网络预测方法和长期短期记忆网络,达到较高的预测精度。在gydF4y2Ba香港et al。(2017)gydF4y2Ba、行为分析进行了居民活动的范围。作者提出一个深度学习框架基于设备消费的长期和短期记忆序列,使智能电网电力负荷的准确预测。gydF4y2Ba

1.3贡献和组织gydF4y2Ba

本文的主要贡献是有组织的如下:gydF4y2Ba

•不同于现有文献在电力负荷预测,提出了一种Bert-based短期预测方法对变压器负载数据。该方法适用于不可预测性和长序列的预测gydF4y2Ba赵et al。(2021)gydF4y2Ba。它可以最大限度地挖掘背后隐藏的关系序列和相关的变量。gydF4y2Ba

•数据异常值检测、处理和特征提取,建立执行正式的数据集。所有的观测时间,相应的验证数据集和测试数据集划分根据一个固定的比例。正式训练过程的数据,模型的效率学习是保证通过规范化和标准化的数据集。gydF4y2Ba

•伯特利用强大的数据特征提取功能,我们的算法擅长从复合提取特征数据随着时间的推移,使准确预测未来复合数据在一个特定的时间范围。通过严格的实验和数据分析,该模型展示了非凡的负荷预测精度和性能对电力系统变压器负荷预测LSTM相比。gydF4y2Ba

1.3.1组织gydF4y2Ba

本文结构如下:第二节深入探究了BERT-based负荷预测方案。第三节提供了一个详细描述本研究中使用的数据集。在第四节,并给出了实验装置和分析的结果。最后,第五节总结了纸。gydF4y2Ba

2 BERT-based负荷预测方法gydF4y2Ba

2.1从双向编码器表示变压器(BERT)gydF4y2Ba

伯特,深度上优于自然语言处理技术,利用本文的数据处理gydF4y2BaDevlin et al。(2018)gydF4y2Ba。伯特模型一般包括训练和调整阶段。它发现广泛应用在问答系统中,情感分析和语言推理。在这项研究中,伯特模型是用来提取电力负荷特性综合电力系统数据。这些特征包括变压器ID、日期、时间戳、风速、飞行方向,环境平均温度、最高温度、最低温度、湿度、无功功率和有功功率。随后,这些特性和提取时间序列数据被送入预测模型进行训练。BERT-based电力负荷数据处理所涉及的步骤如下:gydF4y2Ba

2.1.1数据预处理gydF4y2Ba

在我们的研究中,我们进行了数据预处理的数据加载52变压器组跨越多个年。这种预处理涉及处理缺失值、异常值和类型转换。最后,我们应用对数据的规范化和标准化技术。规范化和标准化的过程中,我们采用以下方法输入数据gydF4y2BaxgydF4y2Ba:gydF4y2Ba

在哪里gydF4y2BaδgydF4y2Ba样本的方差。规范化的数据规范化是[0,1]之间的比例。gydF4y2Ba

2.1.2编码gydF4y2Ba

在负荷预测任务,伯特编码使用变压器输入数据。伯特的输入由标记嵌入、段嵌入,嵌入的位置。这三个向量相结合,形成最终的输入向量。此外,伯特能够编码输入数据从多个角度,提高其理解变压器负载数据。中描述的位置代码,gydF4y2BaKazemnejad (2019)gydF4y2Ba,包括一对正弦和余弦函数,每一个都有减少频率向量维数。在数学上,它可以表示如下:gydF4y2Ba

在哪里gydF4y2BaωgydF4y2Ba_kgydF4y2Ba代表的位置指数序列中的令牌,以整数值从0到最大序列长度- 1 (gydF4y2BaMLengydF4y2Ba1)。的变量gydF4y2BadgydF4y2Ba表示位置向量的维数,等于整个模型的隐藏状态维度。的变量gydF4y2Ba我gydF4y2Ba是一个整数范围从0到d / 2 - 1,特别是0,1,2,…,383。gydF4y2Ba $\stackrel{⃗gydF4y2Ba}{{\mathrm{pgydF4y2Ba}}_{\mathrm{tgydF4y2Ba}}}$ 指的是一个矩阵gydF4y2BaMLengydF4y2Ba行和列,表示为gydF4y2BaMLengydF4y2Ba,gydF4y2BadgydF4y2Ba),gydF4y2BaMLengydF4y2Ba代表了最大序列长度和d代表维度。gydF4y2Ba

基于上述位置编码,伯特有助于更有效地执行计算的模型涉及的相对位置。修正的线性单元(ReLU)采用函数作为激活函数,它可以表示为:gydF4y2Ba

上下文中的激活函数,输入来标示gydF4y2BazgydF4y2Ba。当乙状结肠或其他功能包括指数操作是用来计算激活函数,计算荷载往往是高。此外,当应用于计算误差反向传播梯度,导数往往涉及部门,导致计算量相对较大。相比之下,所涉及的计算ReLU明显减少。利用ReLU导致某些神经元输出为零,从而促进网络稀疏。这种参数间的相互依存的减少有助于缓解过度拟合问题的发生。gydF4y2Ba

2.1.3培训gydF4y2Ba

伯特利用电网负荷历史数据从一个特定的时间段作为输入。这个数据被送入一个完全连接层gydF4y2Ba佛朗哥et al。(2023)gydF4y2Ba生成预测输出。模型训练使用均方误差作为损失函数。通过培训,模型调整参数以减少损失,不断提高其准确性。继续这个迭代过程,直至收敛。gydF4y2Ba

2.1.4预测gydF4y2Ba

通过训练伯特模型,负荷值的变压器可以预测在不久的将来。这些预测作为有价值的参考和指导电网企业电力需求。确保更高的预测精度,采用相同的训练样本预测长度在训练阶段。这是通过使用滑动窗口,允许建设的训练集和测试集。gydF4y2Ba

图2gydF4y2Ba比起说明了利用的基于变压器在伯特双向编码。与完整的变压器模型不同的是,伯特专门雇佣了编码器的部分。每个编码器单元由多头的注意,层正常化,前馈层,和额外的层正常化,堆放和组合多个层。Self-attention,伯特的一个重要组成部分,是结合位置编码解决训练数据中的时间相关。它的主要功能是信息传播时动态计算权重。多头注意力聚集多个不同的单位和随后的输出将通过完全连接降维和输出。层标准化在正则化过程中发挥作用。采集self-attention的输出,适用于层标准化,然后规范化批处理中的每一行。gydF4y2Ba

在模型训练过程中特定的加载数据,描述了gydF4y2Ba图2gydF4y2Ba,我们考虑到各种因素,影响电力系统的负载。这些因素包括变压器ID、日期、时间戳、风速、飞行方向,环境平均温度、最高温度、最低温度、湿度、再生能力,激活能力,等等。因为这些数据都是相互关联的,我们利用嵌入+位置方法将历史数据属性加载到数据之间的相关性。嵌入涉及将训练数据映射到相应的维度。采用伯特,我们可以训练模型,从输入丰富和恶化的数据中提取特征,并最终实现合规预测短期电力。gydF4y2Ba

2.2伯特的注意机制gydF4y2Ba

伯特的核心组件是变压器,变压器的理论基础在于注意机制。注意机制,使神经网络输入的特定部分。它包括三个主要概念:查询,价值,和关键。查询表示目标词,代表的原始表示上下文中的每个单词,关键是上下文中的每个单词的向量表示。伯特计算相似性查询和关键,然后结合的价值生成的注意力价值目标词。换句话说,注意力机制允许伯特有选择地参加在处理相关信息。gydF4y2Ba

self-attention机制具有一定的局限性,如过于专注于自己的位置。为了解决这个问题,伯特雇佣了多头的注意机制。这种机制允许伯特减轻self-attention过度自我中心,促进一个更加平衡的关注在输入序列。此外,多头伯特注意力机制的使用增强了模型的表达能力。它能使注意力层的输出包含信息从不同的子空间编码表示。通过执行多个self-attention集处理的原始输入序列,结合结果通过线性变换,伯特改善其特性的理解能力。这种增强的有助于更全面的表示输入数据,从而提高模型的整体性能。gydF4y2Ba

2.3模型的体系结构gydF4y2Ba

中所描绘的一样,预测网络模型gydF4y2Ba图3gydF4y2Ba,由历史负荷的集成,通过特征提取提取的变量。这些上层特征向量,以及历史负荷,被送入伯特网络。伯特网络过程的输入并生成隐藏特性,然后通过一个完全连接网络大小为512,1024和96。辍学函数概率为0.3应用后第一次和第二次完全连接层减轻过度拟合。最终的输出由负载预测不同的变形金刚。gydF4y2Ba

获得更准确的预测未来的负荷,我们利用均方误差(MSE)作为损失函数在模型训练。MSE可以表示为:gydF4y2Ba

在哪里gydF4y2BaNgydF4y2Ba代表了离散向量样本,gydF4y2BaygydF4y2Ba_我gydF4y2Ba表示实际的负载值gydF4y2Ba $\stackrel{̂gydF4y2Ba}{\mathrm{ygydF4y2Ba}}\mathrm{我gydF4y2Ba}$ 代表了相应的预测价值。然而,当使用梯度下降方法学习MSE损失函数,学习速率可能非常缓慢的在模型训练的开始。我们可以将训练集表示为gydF4y2BaxgydF4y2Ba1,gydF4y2BaxgydF4y2Ba_2gydF4y2Ba…gydF4y2BaxgydF4y2Ba_米gydF4y2Ba和相应的输出gydF4y2BaygydF4y2Ba_我gydF4y2Ba。此外,该网络模型可以计算梯度gydF4y2Ba

在哪里gydF4y2BaggydF4y2Ba代表当前批的梯度,gydF4y2BaθgydF4y2Ba代表了模型参数。获得优化的重量更新,第一时刻的偏见的估计可以表示为:gydF4y2Ba

在哪里gydF4y2Ba年代gydF4y2Ba代表了向量和时刻gydF4y2BaρgydF4y2Ba_1gydF4y2Ba衰减率。有偏估计的二阶矩可以写成:gydF4y2Ba

在哪里gydF4y2Ba问gydF4y2Ba是第二个时刻向量。gydF4y2BaρgydF4y2Ba_2gydF4y2Ba表示衰减率。此外,估计可以表示为偏差纠正的时刻gydF4y2Ba

然后,可以更新模型参数gydF4y2Ba

在哪里gydF4y2BaθgydF4y2Ba表示模型参数gydF4y2BaβgydF4y2Ba代表了学习速率。使用自适应的主要优势时刻估计(亚当)优化器是能够自适应地选择更新步长。这种方法可以实现退火的目标学习速率同时最小化梯度的影响规模优化。gydF4y2Ba

3的描述数据集gydF4y2Ba

3.1基本知识和数据的预处理gydF4y2Ba

为了准确地预测的平均负载,综合数据集构造使用加载数据从52个不同的变压器在同一地区,在一段时间内收集的584天。数据收集在下半场间隔对于每一个变压器,导致每天大约96个离散样本为每个变压器。总的数据集大小约为52×96×584。本研究的目的是根据历史数据预测未来负荷值和相关变量,旨在实现智能电力调度,提高能源利用效率,减少二氧化碳排放量,使效率和智能调度。每个样本数据集包括八环境参数:最高温度、最低温度、平均温度、最高湿度、最小湿度、极端风速、风向和24小时降水。gydF4y2Ba表1gydF4y2Ba提供进一步的细节在这些参数。gydF4y2Ba

图4gydF4y2Ba详细描述了环境变量的趋势。图的左边,它可以观察到,环境温度展品波动。在584天的收购期间,环境温度显示本地和周期性波动。当地温度波动受随机因素的影响,如短期降雨,而长期波动是由大的季节性变化。温度变化产生重大影响居民的电力负荷波动和各种企业在该地区,使之成为一个关键因素在不同变压器的负载变化区域。gydF4y2Ba

右边的gydF4y2Ba图4gydF4y2Ba湿度的变化在不同的采样间隔进行描述。蓝色曲线代表白天最大湿度记录,而红色曲线代表了最低湿度。这个指标部分显示在该地区需要除湿,导致系统负载。黑色的曲线代表白天降雨记录的数量,这直接影响环境湿度。可以从图中观察到的,系统的整体湿度高在大雨期间。这一方面反映了当地天气状况和光伏发电的可用性来补充家庭和工厂能耗。因此,图中这三个因素扮演了一个重要的角色在系统负载波动和被认为是相关的影响因素。gydF4y2Ba

图5gydF4y2Ba提出环境风速的统计,风向,52岁的总负载变压器数据收集期间。图的左边,最大程度上的每日风速显示本地和长期的周期性波动变化,对应于数据收集周期。短期波动影响的测量位置,而长期变化相关较大的周期,类似于前面提到的温度变化。此外,最大风向与最大风速表现出很强的相关性。考虑风速负载调度是至关重要的,因为它与风力发电相关,可以集成到网格智能调度的目的。右边的图,整体加载不同的变压器在整个使用求和数据收集周期进行了分析。变压器4号最高负荷的基础上,统计分析。变压器分类根据其整体负载统计会导致更多的智能维护和调度策略。此外,因素,如光伏(PV)系统,风力涡轮机(WT),燃气轮机发电机(GTG)和能源存储系统(ESS)是电力系统的重要组成部分,在变压器负荷影响因素。PV和WT经历了近年来快速部署和开发,促进多样化的供电系统。 These power sources are influenced by environmental factors such as wind speed and sunlight, which can affect power supply in the system. GTG, on the other hand, is a stable and controllable power source that enables intelligent scheduling and maximizes energy utilization by predicting future regional loads. ESS, as an emerging technology, facilitates energy storage and release in the power grid. It helps achieve more precise intelligent scheduling, reducing the inherent variability of wind and photovoltaic power generation and ensuring optimal energy utilization throughout the scheduling system.

3.2特性的数据集gydF4y2Ba

进行了一个全面的统计分析来分析变量的分布在前一章所讨论的,旨在提供一个深入了解工程的特性。gydF4y2Ba图6gydF4y2Ba介绍了分析的结果。分析表明,空气温度是一个基本的正态分布。然而,由于大的周期性变化,可分为三个不同的时间间隔分布,反映出不同的特征。另一方面,最大湿度的分布比较分散,不能准确描述的数学模型。基于机器学习模型的非线性神经网络更适合捕捉这个变量的复杂的特征和关系。风速变量符合高斯分布,表明更规律。风向风速的大小有紧密的联系。大多数风方向表现出振荡的左和右,而广泛的风方向对应于最大风速。相比之下,降雨指标表现出稀疏分布特征。仔细描述该变量需要完全理解它的作用系统的合规、准确地捕捉它的影响。 Overall, the statistical analysis provides valuable insights into the distribution patterns and characteristics of the variables, guiding the subsequent modeling and feature engineering processes.

探索不同变量间的相互关系,对所有变量进行相关分析和系统统计负载。这项研究的结果发表在gydF4y2Ba图7gydF4y2Ba,相关系数范围从−1比1。负值表示负相关,正值表示正相关,和一个值接近1表明一个更强的相关性。分析揭示了几个关键的发现。首先,跟温度有关的三个变量之间存在很强的相关性,显示他们的密切相互依赖。温度和湿度也表现出较高的相关性,表明这两个因素之间的关系。此外,风速和风向是高度相关的,这表明他们相互影响。降水显示了一个常见的与其他变量相关,表明其对整个系统的影响。值得注意的是,有一种强烈的负相关性系统负载和温度以及湿度。这意味着更高的温度和湿度是降低系统负载,表明潜在的反比关系。总的来说,相关分析强调了复杂和隐蔽的系统统计负载和各种变量之间的关系。 Given these intricate relationships, large-scale neural networks can be employed to model nonlinear patterns and facilitate accurate load forecasting for the future.

4实验设置和结果分析gydF4y2Ba

4.1实验设置gydF4y2Ba

特征向量包括温度、湿度、风速、风向,降雨,由数值表示。这些特征向量作为伯特网络的输入,预测变压器的负载在接下来的时期。在培训期间,伯特网络训练使用损失函数和优化使用梯度下降法调整权重。训练后,模型应用于预测中的多个变压器的负载测试数据集。预测的准确性评估使用平均绝对百分误差等指标(日军),平均绝对误差(MAE)和根均方误差(RMSE)。通过比较预测值与实际值,模型的性能进行评估,并相应模型参数可以调整。实验结果表明,该模型有效地预测与高精度多个变压器的负载。模型表现出良好的鲁棒性和泛化能力,表明其有能力处理各种场景和推广以及看不见的数据。gydF4y2Ba

加载数据预测BERT-based算法在这个实验中是使用Python 3.8和TensorFlow 2.7开发的。加载数据的数据集使用由584天52变压器属于河北电力公司。在培训过程中,该算法进行了200批大小的时代512和5 e - 3的学习速率。数据集分为训练集覆盖天1 - 451和一个验证集覆盖天显示在452 - 500gydF4y2Ba图8gydF4y2Ba。亚当优化器是利用,提供了实验中使用的参数值gydF4y2Ba表2gydF4y2Ba。gydF4y2Ba

4.2结果分析gydF4y2Ba

图9gydF4y2Ba说明了损失函数和预测精度的比较曲线的培训期间BERT-based负荷预测算法。最初的结果表明,该算法表现出不稳定波动的损失函数,预计由于有限数量的训练时期。然而,正如伯特模型迭代调整参数,损失函数逐渐收敛和稳定,说明算法的优越的收敛性质。此外,gydF4y2Ba图9gydF4y2Ba比较了预测负荷伯特算法生成的值与实际负荷值。BERT负荷预测的比较表明,该算法有效地学习从变压器负荷历史数据,捕捉来自多个电力负荷影响因素的相关特性,并适应负荷变化的特点,导致更高的预测精度。gydF4y2Ba

在gydF4y2Ba图10gydF4y2Ba,过去10变压器的负荷预测结果,预测结果是直观地描述通过直方图的错误率。结果表明,我们建议的BERT-based变压器电力负荷预测算法通常达到更好的预测精度,与大多数错误值保持在一个小范围的0.2和大多数的错误率保持在10%以下。但是,一小部分的错误率大幅波动,观察47号和48个变压器。这可能是由于训练数据收集高波动,导致轻微增加预测错误率这些变形金刚。总的来说,我们提出BERT-based变压器电力负荷预测算法表现出令人满意的预测结果,展示了卓越的特征提取和扩张能力比传统CNN和LSTM模型。这些发现有实际意义,是有价值的解决电力系统行业的需求和作出调整。gydF4y2Ba

图11gydF4y2Ba介绍了负荷预测的结果中所有变形金刚LSTM-based区域。很明显,有一定的区别实际变压器负载和基于LSTM预测。然而,通过仔细观察和利用历史数据,可以实现一定程度的补偿来实现准确的负荷预测未来。右边的图显示了不同的变形金刚的预测值为下一个时期。它可以观察到,大多数变压器预测值紧密匹配的实际负荷值,只有少数的预测显示轻微的偏差。为了进一步评估预测值与实际值之间的差异,gydF4y2Ba图12gydF4y2Ba显示了绝对误差和相对误差。左边的图显示了绝对误差值,表明只有变压器编号43岁,45岁和46个展览绝对误差相对较大,而其他变形金刚的绝对误差仍然很低。然而,当考虑到相对误差,变压器数量49突出重要的相对误差。这可以归因于变压器的电流负荷是负的,导致大量的相对误差。总的来说,结果表明LSTM-based负荷预测模型的性能。虽然可能会有一些预测和实际值之间的差异,达到准确的预测模型对于大多数变压器,只有少数例外。gydF4y2Ba

图13gydF4y2Ba介绍了伯特和LSTM模型的比较使用相同的训练数据和批量大小。结果表明,在同样的训练参数,伯特网络达到一个较低的平均绝对误差相比LSTM网络。这可以归因于伯特网络的能力来有效地从整个使用深层网络模型训练集,而LSTM网络依赖于时间序列关系,不得通过全球全面学习达到最佳的预测性能。gydF4y2Ba图14gydF4y2Ba提供了一个比较两个模型之间的相对误差。这表明伯特网络达到一个相对误差小于LSTM模型,预测结果表明更好的稳定性。平均误差结果,如在gydF4y2Ba表3gydF4y2Ba,进一步支持伯特网络模型的优越性。在不同的评估指标,伯特网络始终显示更好的性能收益。总的来说,基于伯特变压器负荷预测网络模型展览高精度和稳定性。它可以有效地应用于现有的电力系统,加强区域电力的智能调度功能。gydF4y2Ba

5的结论gydF4y2Ba

介绍了一种新型BERT-based变压器电力负荷预测算法,超越现有的算法,以提高能源利用效率,显著减少二氧化碳排放在电力调度部门。该算法利用伯特强大的模型通过预处理提取功能,编码,和培训历史负荷数据从电网获取。因此,它表现出改进的数据理解和达到比传统LSTM方法更准确的负荷预测。与传统时间序列算法,实验结果表明,BERT-based负荷预测方法表现出优越的准确性和鲁棒性。实证分析是基于实际电力负荷数据收集从电网公司在两年的时间里,包括52个变压器的综合数据。在这项研究中使用的数据集包括各种影响因素如变压器ID、日期、时间戳、风速、风向、环境平均温度、最高温度、最低温度、湿度、无功功率和有功功率。我们BERT-based采用多个数据集预处理技术和分析方法,导致精确的负载变化预测在不同的时间段和识别关键影响因素的电力负荷。与传统时间序列算法相比,我们的方法可以有效地获取所有相关因素对电力负荷的影响。拟议中的BERT-based电力负荷预测算法作为一个有价值的参考电网企业的电力需求规划和操作。优化训练参数使大部分变压器实现平均错误率小于10%。 In comparison, the LSTM-based load forecasting model yields an average relative error of approximately 53.52%, indicating inferior performance compared to the BERT-based method with the same training parameters. Thus, the BERT-based scheme facilitates precise energy scheduling and utilization, maximizing energy efficiency, and offering valuable insights for the digital low-carbon transformation of power dispatching departments. Future work will focus on exploring distributed federated learning algorithms to enhance the model’s robustness and adaptability.

数据可用性声明gydF4y2Ba

原始的贡献提出了研究中都包含在这篇文章/辅料,可以针对相应的作者进一步询问。gydF4y2Ba

作者的贡献gydF4y2Ba

HM的研究概念和设计、代码开发、数据收集、数据分析和解释。PT负责撰写论文并提供关键的修正。CL导致数据分析和论文写作,会导致数据处理和论文写作。HM的手稿修改。PT负责添加的相关实验。所有作者的文章和批准提交的版本。gydF4y2Ba

的利益冲突gydF4y2Ba

作者PT,嗯,CL和LL受雇于国家电网河北营销服务中心。gydF4y2Ba

出版商的注意gydF4y2Ba

本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。gydF4y2Ba

引用gydF4y2Ba