常州公司建站模板,个人网站写什么好,seo工具优化软件,qq刷赞网站推广http://labs.mysql.comMySQL复制操作可以将数据从一个MySQL服务器(主)复制到其他的一个或多个MySQL服务器(从)。试想一下#xff0c;如果从服务器不再局限为一个MySQL服务器#xff0c;而是其他任何数据库服务器或平台#xff0c;并且复制事件要求实时进行#xff0c;是否可…http://labs.mysql.comMySQL复制操作可以将数据从一个MySQL服务器(主)复制到其他的一个或多个MySQL服务器(从)。试想一下如果从服务器不再局限为一个MySQL服务器而是其他任何数据库服务器或平台并且复制事件要求实时进行是否可以实现呢MySQL团队最新推出的MySQLApplier for Hadoop(以下简称Hadoop Applier)旨在解决这一问题。用途例如复制事件中的从服务器可能是一个数据仓库系统如ApacheHive它使用Hadoop分布式文件系统(HDFS)作为数据存储区。如果你有一个与HDFS相关的Hive元存储HadoopApplier就可以实时填充Hive数据表。数据是从MySQL中以文本文件形式导出到HDFS然后再填充到Hive。操作很简单只需在Hive运行HiveQL语句CREATE TABLE定义表的结构与MySQL相似然后运行Hadoop Applier即可开始实时复制数据。优势在Hadoop Applier之前还没有任何工具可以执行实时传输。之前的解决方案是通过Apache Sqoop导出数据到HDFS尽管可以批量传输但是需要经常将结果重复导入以保持数据更新。在进行大量数据传输时其他查询会变得很慢。且在数据库较大的情况下如果只进行了一点更改Sqoop可能也需要较长时间来加载。而HadoopApplier则会读取二进制日志只应用MySQL服务器上发生的事件并插入数据不需要批量传输操作更快因此并不影响其他查询的执行速度。实现Applier使用一个由libhdfs(用于操作HDFS中文件的C库)提供的API。实时导入的过程如下图所示数据库被映射作为一个单独的目录它们的表被映射作为子目录和一个Hive数据仓库目录。插入到每个表中的数据被写入文本文件(命名如datafile1.txt)数据以逗号或其他符号分割(可通过命令行进行配置)。详细信息MySQLApplier for Hadoop下载地址mysql-hadoop-applier-0.1.0-alpha.tar.gz(alpha版本不可用于生产环境)
