义乌建设局网站,罗湖做网站的公司哪家好,如何做一个网站,什么平台能推广项目以下为作者观点#xff1a;
数据迁移#xff0c;是在保证新旧系统业务连续性的前提下#xff0c;将数据从旧数据库迁移到新数据库的过程#xff0c;测试前通过迁移策略和方案了解新旧系统数据如何重构与关联#xff0c;测试过程需确保数据迁移的正确性#xff0c;主要体…以下为作者观点
数据迁移是在保证新旧系统业务连续性的前提下将数据从旧数据库迁移到新数据库的过程测试前通过迁移策略和方案了解新旧系统数据如何重构与关联测试过程需确保数据迁移的正确性主要体现在技术层面确保数据0丢失数据库库表处理正确字段映射正确业务层面确保数据量、各数据转换正确确保业务连续性数据能向后、向前兼容性测试同时新旧功能可以正常使用相关报表正确。
迁移测试关注的重难点风险
可能有同学会问:数据迁移测试需要关注哪些点测试过程可能存在哪些风险呢
首先需要关注数据迁移的技术细节。数据迁移通常有两种类型同类型数据库的迁移和不同类型数据库的迁移不同类型的数据库迁移可能涉及表结构变化、编码和语法上的差异会加大迁移的难度。在表结构方面有的迁移是直接复制表有的迁移是进行表结构拆分与合并后者测试时需关注各表字段、类型、长度、映射等变化。迁移数据规模程度也会影响到迁移的结果数据量大数据库表迁移准确性难度增大。
另外还需要关注迁移时点的数据的业务状态。通常来说迁移时服务器应用会提前停止服务并进行必要的数据检查避免迁移期间产生新的业务或操作系统带来的迁移问题。若迁移涉及表结构的变更表字段新增、修改、删除等变化。测试时需关注各表的更正情况数据、报表变化情况。
最后需要关注迁移时点前后的业务规则变化。除了考虑新系统的规则变化还要考虑旧数据迁移后需要进行规则适配例如旧系统没有新系统有的字段验证是否给到正确的默认值。保证旧系统数据迁移后业务的可用性与连续性避免迁移后需重新回滚测试。
接下来我们将详细介绍数据迁移的测试策略及测试实施话不多说上干货~
迁移测试验证策略与计划
一、需要熟悉迁移方案 了解新老系统上线方案以及数据如何迁移存量兼容数据如何处理。新老系统切换时是否关闭批量处理、日终初批处理服务。上线后旧系统设备如何处理是废弃还是继续使用。在数据并账方面流程如何处理账务如何迁移。在数据同步方面了解同步时间策略和同步范围策略是全量同步还是增量同步。
以商票系统为例迁移总体技术方案采用编写迁移shell脚本先在旧库建立与新库业务表相同字段的临时表在旧库进行数据的筛选、加工至临时表再将临时表中的数据导出成表数据文件到oracle数据库使用sqlldr导入informix数据文件。存量数据一次性迁移增量数据实时迁移方式进行迁移。迁移时点为日初后迁移新系统上线后旧系统依然在使用故测试时不仅要验证迁移数据在新系统的业务验证还需要对旧系统进行回归验证。
二、需要了解迁移范围和迁移规则
熟悉完迁移方案后需圈定迁移范围才能针对性进行测试验证分析是否涉及基础数据迁移历史业务数据迁移是否涉及流程中的数据迁移。
1.关注迁移数据种类和状态不同类型数据测试关注点不同例如基础数据迁移后需要关注新旧系统数据一致性纯历史数据迁移后除了数据一致性外还需要关注迁移后在新系统的查询和业务是否正常。流程中的数据需要关注每个环节的状态关注在途业务是否能进行后续处理。
2.了解数据迁移规则数据库变化点、字段变化如字段类型、长度、映射关系根据规则设计测试案例确保迁移后映射正确。
3.关注关联系统供数相关文件分析涉及迁移的关联系统数量以及相应的卸数文件验证迁移后卸数给关联系统文件数据量以及字段的正确性。需要特别注意的是编码方式可能产生变化需及时同上下游系统同步制定解决方案避免乱码产生。
三、需要注意备份和回滚方案
涉及数据备份与回滚与应用备份与回滚若迁移失败或迁移出现问题时能及时进行迁移回滚。迁移时特殊情况考虑如本次商票系统生产发现有维护错或者缺失的记录通过新设置的维护功能进行手工维护。
四、制定数据迁移测试计划
测试主要通过技术手段和业务手段的验证来确保迁移的正确性。测试前根据SIT各轮次测试安排规划数据迁移验证时间。通常在SIT三个轮次中安排两轮迁移测试如果有UAT5回归测试可在回归环境验证一轮。迁移涉及环境的重置如果有外部联调单位还需根据联调单位来调整迁移测试时间安排。
经验总结
技术层面主要验证以下几点
①数据量0丢失包含数据是否有多迁移或少迁移测试根据根据迁移规则筛选数据量迁移前后进行迁移前后SQL检查。
②数据库测试点数据库表、字段处理规则字段映射迁移规则验证。
③迁移日志检查检查迁移分步处理是否合理数据记录是否正确。
④迁移初始值,如特殊流水号、业务ID、账务ID等流水号的配置和处理。
⑤考虑异常情况异常数据异常交易异常处理时情况。
业务层面主要验证以下几点
①登记簿报表功能及数据准确性
②功能可用性
③业务连续性。
迁移测试准备与测试实施
迁移测试准备
测试数据准备数据预埋是测试前很重要的准备环节决定是否有足够的完整的数据满足迁移测试。确认迁移方案与计划后准备迁移测试的数据对于复杂场景一定要梳理好场景表根据梳理好的场景表等进行数据预埋埋数结束需确认预埋数据完整性避免切换系统后无法再增补所需数据。这部分数据可以在进入SIT测试时优先验证因为部分数据有时效性例如票据可能到期结清无法用于后续业务连续性测试。
迁移前数据备份迁移前相关业务报表数据导出备份后续迁移测试进行核对。开发也会将迁移前预埋数据库备份预防迁移问题需回滚。
迁移测试实施实例
还是以商票系统为例首先进行数据量验证涉及以下两个方面
①新旧系统业务表/公共数据表的查询、统计、前后端对比来校验
②涉及公共的机构表数据、用户数据量确保数据的准确性。
其次进行数据准确性验证
①确保数据0丢失根据迁移规则筛选数据量确保迁移前数量与迁移后数量一致
②数据库测试点通过对比迁移前后的数据库表、字段处理规则字段映射迁移规则进行验证。
③涉及公共表的机构、用户数据量岗位的权限准确。
第三登记簿报表验证主要涉及验证总行全辖、分行等各机构买卖登记簿/日终余额登记簿数据各字段是否正确、总数是否正确最后进行功能可用性验证和业务连续性验证。
功能可用性验证和业务连续性验证主要验证以下方面
①旧数据、新数据在新系统操作流程是否受到阻碍旧系统在新系统挑票界面可以正常挑到票以及等分化的票据业务流程不受影响。
②能查询老数据、也能查询新数据涉及新数据/老数据迁移后均能在新系统登记簿查询到以及老数据均能在老登记簿查询到。
③业务连续性验证涉及票据迁移传统票据贴现后能保证后手业务能正常开展涉及公共数据保证用户或机构下相关业务能正常开展。
④最后是特殊情况和异常校验流程中的数据在途业务的处理流程中的数据需要关注每个环节的状态关注在途业务是否能进行后续处理。
以上测试点不仅可以用于数据迁移测试在数据清洗以及相关业务代码重构的时候一样的适用。
