77范文网 - 专业文章范例文档资料分享平台

基于异构系统数据时间同步模型的研究与应用(2)

来源:网络收集 时间:2012-08-21 下载这篇文档 手机版
说明:文章内容仅供预览,部分内容可能不全,需要完整文档或者需要复制内容,请下载word后使用。下载word有问题请添加微信号:或QQ: 处理(尽可能给您提供完整文档),感谢您的支持与谅解。点击这里给我发消息

  (2)同步模块将根据源操作表的内容和修改时间字段的值,更新临时数据表中的内容(临时数据表相当于临时中间数据缓冲区),实现了临时表和源数据的同步,并返回从系统新时钟读取的更新的时间New_Updatetime(其值也就是字段Update_time的值);
  (3)将源操作表当中字段Update_time的值小于New_Updatetime的所有记录删除。
  解决了上述关键性问题之后,下面我们提出基于异构系统数据时间同步的模块结构图。如图2所示:
 

  
  其中数据源为用户所需要的数据来源,也是异构系统同步的数据源,比如:SQLServer、Oracle、DB2、access等;目标数据库是数据的目的地;中间数据区作为数据的中介,是数据集成的主要环节,用户所要进行的数据转换都是在此进行,其中主要有一个临时数据存储区1和临时数据存储区2,它们分别负责存储转换之前和之后的数据,因此是数据的临时缓存区。
  其中用户控制模块负责和用户进行通信,接受用户命令,并将用户的配置和命令传递到其它模块;任务管理模块是数据集成的核心,负责任务的调度和其他模块的管理;预集成模块主要负责集成前的准备,包括建立各种触发器,建立源操作表或MDS源操作表等;同步模块依据不同的数据同步策略负责数据的同步;转换模块根据用户的配置和任务管理模块进行数据的转换;时间同步模块主要是用来从时间服务器或者新时钟获取高精度的时钟信息。
  系统开始运行后,首先各个数据源与目标数据库均执行时间同步算法,构建统一的时间平台。然后由数据访问模块将数据从异构数据源中抽取出来,再经过预集成、数据同步、数据转换等完成数据的同步与转换,最后由加载模块将同步数据加载到目标数据库中。
  
  2实验结果
  
  实验平台中,我们选择了SQLServer和Oracle进行数据同步。在同步过程中,我们发现数据更新的数据量对同步时间有很大的影响。因此,实验过程如下:对一张数据表更新30000条记录,该表具有20个字段,每个字段的大小相同均为20个字符,每次实验变化的是修改字段的数量。修改字段数量所占的比例即为修改的数据量所占总数据量的比例。
  如图3所示,横坐标表示修改的字段所占的比例,纵坐标表示同步所用的时间。记录级同步策略采用传统的快照差分算法的同步策略,字段级的同步策略采用的时本文主要介绍的基于新时钟与时间辍和触发器的同步模型。
  
  经过对实验数据的分析,我们发现,在数据库中仅有极少记录需要同步时,本算法和传统算法均有着较好的时间同步精度。随着字段修改比例的增加,传统记录级的数据时间同步策略所需的时间抖动不明显,整个曲线呈平缓上升的趋势。而本文中提出的基于时间辍和触发器的同步策略所需的时间呈上升趋势,整个曲线的上升趋势即斜率要大于传统记录级得曲线。当修改比例在70%以下,基于时间辍和触发器的同步策略较记录级的同步策略是较优的,其原因在于将监视对象缩小为字段,减少了冗余量和网络传输量。但当修改比例超过70%,基于时间戳和触发器的同步策略较记录级的同步策略反而更差。主要原因是当更新的数据比例过多,虽然本算法将监视对象缩小为字段处理,但是这种缩小字段带来的时间和效率上的提升的不到体现,反而会因为在处理的过程中增加了一些处理中间环节导致整体算法效率上的降低;从而导致了按字段处理不如按记录处理的情况发生。
  因此可以考虑将传统的数据时间同步算法与本算法结合起来,设置一个监视模块,当发现修改比例超过70%就调用传统算法进行数据的时间同步。
  
  参考文献
  [1]?汪静,贺鹏.一种分布式数据库系统时间同步技术研究[J].微计算机信息,2007,(18).
  [2]?周书民,汤彬.RDGSM分布式数据库系统的时间同步策略[J].计算机应用,2004.

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读,免费范文网,提供经典小说计算机基于异构系统数据时间同步模型的研究与应用(2)在线全文阅读。

基于异构系统数据时间同步模型的研究与应用(2).doc 将本文的Word文档下载到电脑,方便复制、编辑、收藏和打印 下载失败或者文档不完整,请联系客服人员解决!
本文链接:https://www.77cn.com.cn/lunwen/jisuanji/120575.html(转载请注明文章来源)
Copyright © 2008-2022 免费范文网 版权所有
声明 :本网站尊重并保护知识产权,根据《信息网络传播权保护条例》,如果我们转载的作品侵犯了您的权利,请在一个月内通知我们,我们会及时删除。
客服QQ: 邮箱:tiandhx2@hotmail.com
苏ICP备16052595号-18
× 注册会员免费下载(下载后可以自由复制和排版)
注册会员下载
全站内容免费自由复制
注册会员下载
全站内容免费自由复制
注:下载文档有可能“只有目录或者内容不全”等情况,请下载之前注意辨别,如果您已付费且无法下载或内容有问题,请联系我们协助你处理。
微信: QQ: