• 注册
    • 查看作者
    • 基于大数据稽查监控系统实现电力数据治理的研究与应用

        摘    要:

        通过定义完整的数据质量规则建立流程和责任机制,构建完整、实时更新的数据质量规则库,对汇集到数据中台的数据进行督查,并将发现的数据问题下发到相关责任单位,结合工单系统完成对数据问题的反馈监督。

        引言

        随着大数据、物联网、云计算等技术的发展,国网河南公司调度、财务、项目、营销、设备、物资等信息化管理系统取得了长足发展,特别是目前河南公司数据中台的建设,实现了电网全业务数据资源统一汇集,为跨专业、跨部门和内外部数据关联分析以及数据价值深度挖掘提供强力了支撑,不仅降低了跨专业数据分析应用建设成本,也极大的提高了公司的管理水平和员工工作效率。然而,当前电力各业务部门系统繁多,各系统数据由于质量问题不能完全支撑数据共享应用。同时,为实现数据共享各业务部门又分别开展数据治理工作,这不仅造成了数据重复治理,也存在数据质量规则不统一、治理效果不理想、部门间协同沟通处理成本居高不下等亟待解决的问题。这些问题都成为国网河南公司打造多领域、多层次的产品及服务体系,建设数据开放共享“生态圈”的瓶颈。

        当下,社会各阶层已经对利用海量数据进行治理,为解决生产生活问题提供新思路、新方法形成了共识。但如何在一个企业体系内对元数据开展分析、挖掘还存在诸多难点。这就需要在企业体系内形成统一的数据质量规范,开展数据治理工作。根据国际数据管理协会(DAMA)对数据治理的定义,数据治理是指对数据资产的管理活动行使权力和控制的活动集合(规划、监控和执行),在高层次上执行数据管理制度、并指导其他数据管理职能部门如何执行。即一个组织为实现数据资产价值最大化所开展的一系列持续工作的过程,通过明确数据相关方的责权、协调数据相关方达成数据利益一致、促进数据相关方采取联合数据行动。

        对电力系统而言,电力数据治理是在明确数据责任的前提下,建立规范的数据应用标准,提高电力各类数据质量,实现数据广泛共享,并能够将数据作为国网公司的宝贵资产应用于业务、管理、战略决策中,发挥数据资产的商业价值。国网河南公司以数据中台为依托,利用其大数据存储、计算优势,通过建设大数据稽查监控系统,形成动态管理的数据质量规则库,着力提升数据质量,深化大数据应用,强化内外部数据聚合能力,实现对内促进质效提升,对外支撑融通发展,构建了共享便捷、覆盖基层、安全高效的数据共享新模式,满足了电力系统发展对数据共生共通共享的需求。

        1 研究背景、内容及技术路线

        1.1 研究背景

        随着国网河南公司数据中台的建设,在公司内部实现了全业务数据资源统一汇集,为跨专业、跨部门和内外部数据关联分析和数据价值深度挖掘提供强力了支撑,降低了跨专业分析应用建设成本,但受到数据管理能力不足、数据质量不统一等因素限制,在充分发挥数据中台作用,实现企业级数据共享,用数据管理企业、用信息驱动业务等方面存在诸多问题。

        数据标准不一致,不能完全支撑数据共享应用。国网河南公司数据中台汇集了电力系统“发输变配用”等各个环节自动化和信息化数据,电力用户数据,公司内部的调度、财务、项目、营销、设备、物资等管理信息化数据等各个业务流程中产生的各类数据420TB,单日采集数据量超过50GB。数据中台实现了数据的汇聚存储,但各个业务系统的接口信息和标准不统一,数据间的共享、分析、研究存在痛点,制约了跨业务域数据应用成效的提高,造成数据共享应用困难。

        多部门开展数据治理,重复治理情况频现。为更好的实现电力数据的共享应用,各部门均认识到应加强对数据质量的管理及控制,因此分别出台了不同的数据治理策略,开发了不同的数据治理工具。但由于各部门对数据质量的要求不同,对数据治理的认知程度不一,造成数据治理水平也不尽相同。同时,因为各部门分别开展数据治理,也导致了对相似数据的重复治理。

        数据治理无法支撑工作的闭环管理。当下各部门使用的数据治理工具,都是基于本部门内部系统的运转而开发,能够实现在本部门系统的良好运转,但因为无法从全局规划数据治理工具的开发,工具的复用性不强,无法实现公司级应用,也不能实现对数据问题进行跨部门反馈,造成数据治理工作流程中断,更会引起数据治理工作的混乱。

        1.2 研究内容及技术路线

        随着各业务部门对开展数据治理、加强大数据应用的理解更为深刻,以及人工智能、大数据技术的日趋成熟,对海量数据治理的方式方法更加多样,新的解决电力系统数据治理问题思路和技术路线也逐渐开始应用。国网河南公司采用数据清洗转换、数据挖掘分析、工作流引擎等关键技术,开发了大数据稽查监控系统,结合建立动态管理的统一数据质量规则库,实现依托企业数据中台促进数据共享应用,打造了公司数据治理闭环管理新模式,同时也提升了公司信息系统智能化水平,推动国网系统产业升级,提高客户服务能力,扩大了公司影响力。

        构建统一数据质量规则库。基于国网河南公司数据管理实施细则及河南公司数据管理现状,围绕实际应用,制定科学有效、分工明确、责任明晰、执行性强的数据治理规则库建设办法。各相关业务部门根据实际业务制定统一数据质量规则库,并将规则库充分写入大数据稽查监控系统,利用数据中台的核心存储计算能力,实现常态跨域数据质量稽查考核工作,保障数据质量,提升数据共享服务水平。

        大数据稽查监控系统开发。以国网河南公司数据中台基础数据为基础,应用数据清洗转换、数据挖掘分析、工作流引擎等关键技术,结合数据管理现状和数据管理流程,构建营销、设备等核心专业数据质量稽查规则库,灵活配置数据质量稽查规则,开展跨域跨专业的数据稽查,并对稽查出的数据质量问题进行跟踪、检查、分析、评价、督促整改并定期进行数据质量通报评价等工作,最终达到对数据深度治理的目的。

        2 大数据稽查监控系统建设方案

        国网河南公司以解决数据中台中存在的数据治理问题为出发点,结合大数据相关技术,构建涵盖同期线损、营配贯通、配网抢修、多维精益等多个专项的大数据稽查监控系统。该系统充分借助数据中台的计算、存储优势,并通过一体化企业级平台满足系统的各接口组件能够在企业内的协同工作、各层次上集成,实现重复使用,以满足不同职能层次对系统的业务需求,为管理人员提供了技术先进的工作平台和灵活的业务构造能力,促进跨域的数据稽查工作有效落地。

        2.1 整体架构

        大数据稽查监控系统整体架构如图1所示,架构包括环境层、数据层、服务层、应用层和用户层五个层面。环境层为硬件网络平台和基础设施,包括操作系统、应用服务器、BI服务器、接口服务器、ETL服务器、网络等;数据层是基于公司的企业统一数据中台所汇集的数据,通过数据接口与服务层相链接,为服务层提供数据支持;服务层通过微服务架构搭建,实现数据转换、数据对比、数据校验等数据稽查功能;应用层根据实际的业务需求分为对工作流程、质量规则库的配置管理,权限、用户的系统管理,工单、任务的执行管理,以及数据质量报表、考核报表的报表管理等管理模块;用户层分为公司领导、专家、运营人员及管理人员等角色,并在系统中根据角色分配不同的权限。另外,通过建立标准规范支持体系、安全支撑体系、组织管理运营体系为整个系统的正常运行提供有效支持。

        数据以及系统的安全性是一个系统运行的基本保障,大数据稽查监控系统依照国家电网信息内外网隔离原则构建安全支撑体系,并在系统边界部署防火墙、IPS等安全检测和防护装置,避免系统间的安全事件扩散,隔离来自接入系统的安全攻击和高风险访问行为;通过采用严格授权管理,结合强传输加密算法,实时监测数据全生命周期的完整性,确保数据安全;以及为软硬件支撑平台进行安全设置及加固,确保系统安全;同时规范系统操作流程,避免高风险的访问方式导致系统的安全事故。

        2.2 技术架构

        大数据稽查监控系统严格的按照国标GB/T 34960.5-2018所规定的数据治理规范进行设计,基于MVC架构完成对系统底层的建设,通过Vue框架实现系统的View层,使用目前主流的大数据处理语言Python对系统的Model和Controller层进行设计;通过Kafka和ETL工具进行数据传输,将企业统一数据中台的数据抽取到系统中,实现系统与中台的无缝对接;系统还采用ApacheSpark引擎实现大量数据、复杂逻辑的运算,通过增量读取、消息订阅等方式减少网络和服务器压力,提高执行效率;在可视化方面,系统通过ES实现巨量数据的实时检索,并将HTML5和Echart相结合,提供了灵活多变的交互体验。

        通过以上技术的应用,使大数据稽查监控系统既能够与数据中台实现快速的数据碰撞、检索及其他复杂运算,也能够快速输出稽查结果,减少或避免与其他和中台进行交互交互的应用产生冲突。

        2.3 业务流程

        系统基于数据台账管理、稽查规则编制、稽查任务管理、数据问题管理、问题工单管理、数据质量报告6大模板的交互配合,完成了整个数据稽查监控业务流程,实现数据问题闭环管理流程,督促数据问题的“查出必治”。

        数据台账管理模块从数据中台获取需要稽查监控的元数据,建立管理台账,并根据与SQL数据表的关联关系,将台账传递至稽查任务管理模块。

        公司各相关部门根据实际情况,参照统一标准编制本专业数据质量规则,完成数据认责,形成数据稽查规则库,并写入系统。

        稽查任务管理模块根据数据台账的要求,按照数据质量规则,执行对数据的稽查任务,并将执行结果形成数据问题清单,传递给数据问题管理模块。

        数据问题管理模块通过对数据问题清单进行分析,依据数据问题的所属责任单位,对本单位或下级单位的数据问题开展整改工作,实现数据问题的逐级下发,同时统一向上级单位汇报总体整改进度,从而形成多级协同的数据治理链路。

        问题工单管理模块实现将数据问题自动推送给相应责任人,通过监控工单的关闭情况监督整改进度,结合前后两次核查结果的对比监督整改成效。

        数据质量报告模块根据一个阶段内数据问题的处理情况,生成数据问题报告,作为了解当前数据治理工作的重要参考依据,也是指导下一阶段数据治理工作的重要支撑。

        2.4 科学建立数据质量规则库

        准确、统一、明晰的数据质量规则是实现大数据稽查的根本所在,国网河南公司遵循“谁产生,谁负责”的原则,按照数据“源头治理、变更监督、质量稽核、整改落实、计量考核”的管理环节,详细定义岗位职责界面与分工,明确数据质量的责任归属,实现了对数据质量规则的科学管理。公司各业务部门根据自身业务需要,制定或修订本专业数据质量规则;国网河南公司电力科学研究院收集整理各部门数据质量规则,并按照统一标准进行优化,形成数据质量规则库,同时编制与之相匹配的检查评价指标;国网河南公司信息通信公司(数据中心)通过对数据质量规则进行梳理,编制数据质量核查脚本,并将脚本部署在大数据稽查监控系统中;国网河南公司科技互联网部将通过评审的数据质量规则库及评价指标进行发布,并定期检查各数据质量规则的执行情况,确保数据质量规则在实际工作中有效执行。通过建立起循环管理的数据质量规则库,为发挥大数据稽查监控系统的及时性、有效性奠定了基础。

        3 大数据稽查监控系统的应用

        截至目前,国网河南电力大数据稽查监控系统已完成319条数据质量核查规则构建,包含同期线损、营配贯通、配网抢修、多维精益等专项,初步构建了数据质量规则库并实现动态维护。通过该系统,全面核查统计同期线损和营配贯通等数据质量,组织并发布了19期数据通报,实现了对稽查出的数据质量问题进行跟踪、检查、分析、评价、督促整改等功能,为公司提供了准确有效的可用、可信数据,解决数据中台数据质量不统一、数据管理能力弱、数据共享性能差等问题,实现了对数据的深度应用,从而提高了数据中台智能化水平,提升了公司管理效率,大幅节约了公司运营成本,也为其他业务领域开展数据治理夯实了基础。

        3.1 同期线损数据治理情况

        线损是电能从发电厂传输到用户端过程中由于多方面原因造成的有功、无功电能或电压损失,线损的产生对供电销售服务以及供电企业稳定发展带来巨大影响。同期线损值是以供售电量端为同一时刻取值计算,避免了时间差导致的线损偏差,是客观反映线损的重要指标。随着智能设备的普及,使电力的数据完整性和实时性有了很大的提高,为管理线损业务提供了便利。

        截止目前,大数据稽查监控系统建设了以拓扑关系类合理性、基础档案类完整性、基础档案类一致性、基础档案类合理性四个方向为主的数据质量规则库,包含非在运公变对应台区下不应有正常用户、营销变压器关键档案不能为空、PMS与营销中变压器容量的一致性、PMS与营销中变压器容量的一致性等32条数据质量规则。从2019年开始在全河南省18个地市范围执行,累计稽查并下发整改问题数据267660条。

        3.2 营配贯通数据治理情况

        电力营配数据贯通是对营销业务应用系统、生产管理信息系统及电网地理空间信息服务平台数据的集成管理。将生产数据与营销客户数据的全面对应与共享,可以利用应用集成及图形化展现的方式,达到营配数据、业务的贯通,实现故障定位、停电范围分析、线损统计、业扩报装等业务。

        大数据稽查监控系统自2019年开始对全省各地市的营配贯通数据进行问题稽查,并注重在基础数据一致性治理、合理性治理、完整性治理三个方面建设数据质量规则库,编制了PMS公变与营销ID一对多数据、主变电压等级应小于等于变电站电压等级、PMS系统线路台账完整性、PMS系统变电站台账完整性等90条数据质量规则。截止目前,2020年共稽查并下发累计稽查并下发整改问题数据174619条。

        4 结语

        以大数据、5G、物联网等为代表的新一代信息技术加速突破应用,推动着电力产业数字化革命,开展数据治理,是国网河南公司抢抓数字经济重要发展机遇、培育竞争新优势和发展新增长点的重要举措。公司研发的大数据稽查监控系统,以企业数据中台为基础,以同期线损、营配贯通问题数据为切入口,实现了特大型国有企业开展数据治理的有效尝试,达到了发现数据问题、解决实际问题、促进数据共享、提高企业综合经济效益的目的。同时,作为大数据技术在电力企业数据治理领域的探索,该系统的研发也为电力行业深入挖掘数据财富提供了新的思路。

    • 0
    • 0
    • 0
    • 109
    • 请登录之后再进行评论

      登录
    • 做任务
    • 实时动态
    • 偏好设置
    • 单栏布局 侧栏位置: