电网信息化系统中同步并行数据迁移技术的运用探讨的论文
摘要：为保证南方电网营销管理系统集中部署上线后历史数据的可用性，需按照营销系统数据模型要求完成现有营销管理系统数据的清理、转换和迁移工作。文章提出了两种数据迁移方案，根据电网市场营销业务限制综合分析了第一种传统迁移方案的瓶颈与不足，采用了第二种实时同步、分库并行转换的数据迁移方案，并实践验证了该方案的有效性，大幅度缩短数据迁移时间。文章提出的方案对于大规模企业级管理信息系统的历史数据迁移工作起到一定的参考与借鉴作用，确保新系统按计划稳步高效推广应用。
关键词：营销管理系统，数据迁移，同步，并行
某电网营销管理信息系统（CSGII-MM V2.0，简称“新系统”）主要实现抄核收、用电检查、营销稽查监控、业扩、管理线损等功能的设计、建设过程管理，是实现电力营销全生命周期管理的一个重要环节，为保障新系统顺利实施上线，顺利完成由云南电网营销管理信息系统（PMS，简称“老系统”）到南方电网营销管理信息系统的顺利过渡，应做好数据迁移工作的切实保障，保证南方电网营销管理系统数据的真实、准确和完整。为了保证新系统上线后历史数据的可用性，需研究出行之有效的数据迁移方案，能够将老系统历史数据整理、转换、集中，使得业务操作能够获得历史数据的支撑，充分利用历史数据的价值。
1、系统迁移现状分析
为实现系统内历史数据的有效迁移，需对南方电网营销管理系统现状进行详细分析，分析内容包括迁移原则、业务现状与技术现状[1]。
1.1、迁移原则
数据清理收集工作，应当遵循如下原则进行：完整性原则、真实性原则、有效性原则、统一性原则、保密性原则。
1.2、业务现状
电网营销管理系统为全省大集中，系统数据覆盖省、地市、县级供电单位、国际公司和股份公司各供电单位，数据域包括客户域、电网域、服务域、核算域、帐务域、营销设备域、量测域、管控域、支撑域和其他类数据十大类。
2、数据迁移方案分析
2.1、数据迁移方案一
新老系统数据迁移方案一采用源数据库（老系统数据库）à 数据迁移中间库 à 新系统数据库的方式开展数据的转换和迁移工作，在中间库开展转换、核查和整改工作。首先由老系统数据库采用 ORACLE DBLINK 技术迁移数据至中间库，在中间库进行数据转换及数据校验、整改工作，再由中间库迁移至新系统，最后进行核心数据功能验证，如图 1 所示。
2.2、数据迁移方案二
2.2.1、实时数据同步
取消方案一中的中间库数据迁移工作，采用数据同步技术，提前将老系统的数据同步至中间库，在老系统业务停机几小时后即可完成数据同步，开始进行数据转换，既降低方案一中的网络带宽花销，又减少了方案一中老系统至中间库的数据迁移时间。数据同步需在老系统数据库与中间库上部署数据同步软件，该软件从老系统生产数据库中获取实时数据，与中间库建立连接，将实时数据同步发送至中间库[2]。
数据同步包含首次数据同步与增量数据同步，首次数据同步指数据同步软件将有迁移需求的数据以某时间点为截止全量迁移复制至目标数据库，增量数据同步指首次数据同步结束后到业务系统停止时将所产生的新增数据实时同步至目标数据库。增量数据同步的原理为实时分析源端数据库的日志，生成数据变动的压缩表，以捕获增量数据，数据经压缩和加密后传送至目标数据库，经过目标库数据同步软件的装载后，即实现了增量数据的同步。
2.2.2、分库并行数据转换
在采用实时数据同步的基础上，放弃使用原有中间库，新建 4 个中间库进行数据转换及校验工作，中间库既作为数据源也作为数据迁移中间库，可实现 4 个中间库并行的数据转换及迁移工作。在此过程中需要数据同步软件将老系统数据实时同步到 4 个中间库 , 正式数据迁移开始之后即可开展数据转换、校验、整改与迁移工作。按此方案，采用并行的数据迁移方式，可在不同的中间库分配不同的供电局业务数据，相较之前的单链路串行数据迁移方式，即需要按顺序依次进行各局数据迁移、转换的方式，此方案极大程度提高了数据迁移所需时间，方案二如图 2 所示。
2.3、对比结论
试点局上线进行数据迁移工作时采用数据迁移方案一，数据迁移时数据量约为 1 T，耗时为 4 天。由于南方电网营销管理系统后续上线供电局较多，迁移数据量较大，约为 2 T，采用方案一耗时较长。在数据迁移过程中，为保障新老系统数据的一致性及数据迁移的成功率，需要对老系统进行业务系统停机处理，若按方案一，需要对老系统停机 7 天或更久。停机时，无法进行客户算费收费工作，而电网公司业务上不允许长时间对业务系统停机。为保障电网公司利益不受损失，市场营销业务能正常快速开展，综合对比后正式数据迁移采用数据迁移方案二。
3、数据迁移改进方案实施应用
3.1、数据迁移方案实施
3.1.1、全量数据实时同步
通过对业务数据量及服务器性能分析后，4 个分库的建设工作顺利完成。在正式数据迁移开始前，需完成全量数据实时同步工作。同步过程需要使用数据同步软件将数据从老系统同步至 4 个中间库，因此需要在老系统数据库服务器上及 4 个中间库上分别安装部署数据同步软件。此次同步为异构服务器且不同数据库之间的数据同步，源端（老系统）为 AIX 服务器，目标端（中间库）服务器为 LINUX 服务器；源端数据库版本为 oracle10g, 目标端版本为 oracle11g。
由于分为 4 个中间库，首先需在源数据库和目标数据库创建 4 个同步队列，随后在源端数据库与 4 个目标端数据库创建同步用户，最后在源端导出数据库结构并在目标端进行导入。上述准备工作完成后即可开始同步数据，同步完成后进行同步数据比对工作，比对内容为源端与目标端核心数据表的记录数与内容。针对比对后遗漏或缺失的'数据表，采取两种方式进行修复：对于数据量比较小的表，通过ORACLE DBLINK 技术进行修复；对于数据量比较大的表，采用数据同步软件进行重新同步。
正式上线前一天，首次数据同步开始，通过数据同步软件将老系统数据库数据从 AIX 主机（老系统数据库）同步至 4 台 LINUX 主机（4个中间库）。首次数据同步完成后，开始增量数据同步。在老系统业务停止后，实时增量数据同步结束，开始进行数据比对与修复工作，约两小时后，数据比对修复工作完成，一致率100%，数据同步工作顺利完成。
3.1.2、并行数据转换与迁移
数据同步完成后，在 4 个中间库同时开展数据转换与迁移工作，根据“南方电网营销系统物理数据模型”为标准，开展新老系统数据转换与迁移工作，将老系统数据编码通过数据库脚本转换为新系统所支持的数据编码。为提升数据迁移脚本执行效率，在数据迁移脚本中适当加入索引能提高数据库的性能，建立索引之后，可以合理的使用资源；此时同样需要由良好的 SQL 语句进行支持[3]，进行 SQL 语句优化之后，可进一步提升数据迁移时的效率。
在数据同步开始前，针对不同的分库分配了不同的业务数据，如不同的分库同步不同供电局的老系统历史数据，且每个分库的数据量基本一致，因此可以实现四库并行的同步数据转换与迁移工作，与之前方案相比，数据转换将近提升了 4 倍。
在正式数据迁移时，应设计南方电网营销管理系统的应用级灾备切换场景[4]，当数据迁移过程中发生灾难且无法恢复时，致使营销服务中断，应快速切换回老系统，确保公司核心业务系统运行的连续性。
3.2、核心数据功能验证质量提升
迁移完成后，对南方电网营销管理系统数据库与《南方电网营销系统物理数据模型》进行完整性对比，保证数据的安全、完整、真实，如图 3 所示。
4、结束语
本文通过分析南方电网营销管理系统迁移现状，结合业务现状、技术现状等角度提出了两种数据迁移方案，进行了详细的分析与阐述，并重点描述了方案二的设计原理与实施应用。本文所提出的历史数据迁移改进方案已经应用于云南电网公司南方电网营销管理系统的实施上线工作中，并取得了工程实际的应用经验。
该方案为大规模企业级管理信息系统的上线实施数据迁移工作提供了高效实用的技术支持，减少了不必要的损失，节省人力资源。
参考文献：
[1] 田黇. ERP系统集中部署模式下的历史数据迁移方案研究[J]. 电力信息与通信技术, 2014, 12(8): 77-81.
[2] 陈然. 大规模电网运行数据实时同步技术研究[J]. 云南电力技术, 2015, (5):24-26.
[3] 罗伟,蒋苏湘,周沿东,魏鹏飞. 湖南电力营销系统数据库性能优化研究[J]. 电力信息与通信技术, 2014, 12(4): 30-34.
[4] 郭晓艳，王扬，孙轶凡，侯丹，章斌. 营销系统应用级灾备体系研究及建立[J]. 电力信息与通信技术, 2014, 12(10): 13-17.
[5] 赵晓锋，周庆捷，王志利，王瑞珏，王建伟. PMS实用化分析评价体系和数据质量提升的研究[J]. 电力信息与通信技术, 2015, 13(7): 101-106.
【电网信息化系统中同步并行数据迁移技术的运用探讨的论文】相关文章：
电力系统中的时钟同步技术的探讨论文10-03
数据库技术在学籍管理系统中的运用论文12-01
智能电网中电力技术与系统规划思考论文06-30
数据大集中管理模式下数据同步技术探讨论文09-10
传输系统中的时钟同步技术01-20
嵌入式系统中数据库信息管理技术的运用论文09-22
水利工程管理中数据挖掘技术的运用论文09-18
生态环境保护中大数据技术的运用探讨的论文11-15