自己建站网站,增加网站访问量,在菲律宾做网站推广怎么样,收录好的网站加关注#xff0c;带你看世界在新系统替换老系统或者系统升级的项目中#xff0c;难免会存在数据迁移的工作#xff0c;并且随着业务系统和数据结构的复杂性#xff0c;数据迁移的难度越大。这亦要求在项目实施的前期#xff0c;根据客户的需求尽可能全面地考虑到各个方面…加关注带你看世界在新系统替换老系统或者系统升级的项目中难免会存在数据迁移的工作并且随着业务系统和数据结构的复杂性数据迁移的难度越大。这亦要求在项目实施的前期根据客户的需求尽可能全面地考虑到各个方面输出一份详细的数据迁移方案。笔者将结合实际的项目工作经验将一些在数据迁移中的感悟与各位分享共勉。一、迁移准备迁移前需要调研的内容包含1. 老系统存储数据所使用的数据库类型例如oracle、mysql、sqlserver等或某些厂商封装的数据库因为每种数据库的数据存储结构形式存在差异新老系统如果使用不同的数据库难免需要处理。对于常见的数据库转换市面上有开源工具可批量处理。2. 老系统存储数据的形式是否包含图片、表单、音视频等多媒体内容是否包含附件附件是否可在线预览系统内的数据是否有相互关联关系等。这些将作为迁移完成后验证迁移效果的重要用例。3. 老系统的业务分类无论是CRM系统、OA系统、工单系统都会细分具体的业务类型数据迁移的时候必然需要按照其对应的业务分类迁移因此需要调研其详细的业务分类。二、迁移内容迁移的内容主要是需要根据客户的需求来确定数据的哪些内容是需要迁移的将其总结为如下几个方面1. 数据字段对应根据调研输出一个数据字典对照表新系统和老系统存储数据的每个字段会不一样但实际上对于业务来说功能用处是一样的另外如果老系统含有特有字段而新系统没有那么就需要在新系统开发对应的数据表进行存储。下表是项目中一个KM系统的数据字典对照表2. 数据的关联关系数据库里数据之间的相互关联和其他外部系统数据的相互关联这部分内容在迁移的时候需要有相互关联的关系表一般是以数据ID之间的关联关系来识别因为ID是每条数据的唯一标识。3. 其他附件数据这部分内容可能是挂在某条数据下面也就和数据之间进行了关联亦需要关联关系表同样以ID来识别。另外也可能是单独上传的附件这部分可直接获取。附件会存储在文件服务器上且业务系统一般会在内网部署迁移时可直接读取附件URL地址进行下载上传。需要注意的是在URL链接里需要拼接附件名字不然只有附件的ID。三、迁移方式数据如何从一个系统迁移到另一个系统目前所接触有两种方式一是离线的方式导出本地文件再导入另一种是在线的方式通过接口调用传参实现。由于涉及到两个系统意味着有第三方(而且往往是新系统的厂商要去替换老系统的厂商也就是抢别人的饭碗)其第三方配合程度是不可控因素两种迁移也就各有优缺点。1. 离线方式需客户协调老系统导出本地数据(可写SQL语句导出也可写代码导出根据业务内容决定)在导出之前应根据迁移内容提供标准的数据模板包括数据字典模板、关联关系模板、业务分类模板等。优点所有数据已导出均在自己手中实施迁移的时候很多问题都在自己的可控范围。缺点数据量过大时导入导出时间长且可能存在程序崩溃的风险(可考虑分批次)在新老系统过度期间需要多次执行导出导入。2. 在线方式接口传参需要第三方开发调用接口同样在开发接口之前需按照迁移内容提供标准的统一接口文档。同时为不影响生产系统也可能需过滤一些敏感信息需建立中间库。优点在系统切换过度期间可定时扫描调用接口传参(即增量数据)。缺点需要第三方开发有工作量且调试接口的时候配合程度不可控。四、实施迁移实施迁移即数据整理与数据转换。数据整理就是将老系统数据整理为系统转换程序能够识别的数据数据转换就是将整理完成后的数据按照一定的转换规则转换成新系统要求的数据格式。同时这部分需要开发迁移代码在代码完成后特别注意的是需先进行小批量的迁移进行验证无问题后再进行大批量直至全量迁移。五、迁移保障为保障迁移的整个过程顺利和迁移数据完整准确性过程中需要有如下几个方面可参考迁移的数据全量备份防止系统崩溃数据丢失迁移过程打印日志(如迁移了多少数据其中成功多少条失败多少条)迁移完的验证a.如在迁移准备中第2点描述的数据的集中类型需核对是否与老知识库对应展现形式是否完整b.抽检数据验证可按照GB2828-81中的AQL值为标准进行抽检抽检的方式可按照分层抽样(即每多少条数据抽检几条验证)。结语以上为个人在项目中关于数据迁移的一些感悟总结最后将整个数据迁移的过程以一张图总结下#声明#本文由菜鸟店小二原创产品会转载发布仅用于学习交流如涉及版权问题请联系小编微信hf16881688~ 产品会QQ群140710383~ MVP联盟QQ群213626555~
