洛阳天艺网络做网站怎么样,怎么把dw做的网站传上去,湖南城乡建设厅官方网站,融资平台公司定义在先前的几篇随笔中已经介绍了Hadoop、Zookeeper、Hbase的分布式框架搭建方案#xff0c;目前已经搭建完成了一个包含11个节点的分布式集群。而对于HBase数据库的使用仅限于测试性质的增删改查指令#xff0c;为了进一步熟悉分布式框架的使用#xff0c;本文介绍将已有的数据…在先前的几篇随笔中已经介绍了Hadoop、Zookeeper、Hbase的分布式框架搭建方案目前已经搭建完成了一个包含11个节点的分布式集群。而对于HBase数据库的使用仅限于测试性质的增删改查指令为了进一步熟悉分布式框架的使用本文介绍将已有的数据从关系型数据库SQL Server中导入到HBase中的方法。要完成从关系型数据库到HBase数据的迁移我们需要使用Sqoop工具Sqoop是Apache的一个独立项目设计目的即是在Hadoop(Hive)和传统数据库(MySQL、postgresql)之间进行数据的传递。Sqoop工具基于数据仓库工具Hive通过Hive来将数据查询转换成MapReduce任务实现数据的传递。因此要完成本次数据的迁移我们需要以下几个准备④Connector between SQL Server and Sqoopsqoop-sqlserver-1.0.tar.gz以下所有操作均在Master主机上并且以root用户执行1、安装Hive①建立hive目录cd /homemkdir hive②解压安装包(安装包移至/home/hive下)tar -zxvf apache-hive-2.1.1-bin.tar.gz③设置环境变量vi /etc/profile追加以下export HIVE_HOME/home/hive/apche-hive-2.1.1-binexport PATH$HIVE_HOME/bin:$PATHexport PATH追加以下export HCAT_HOME$HIVE_HOME/hcatalog④使配置生效source /etc/profile2、安装sqoop①建立sqoop目录cd /homemkdir sqoop②解压安装包(安装包移至/home/sqoop下)tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz③设置环境变量vi /etc/profile追加以下export SQOOP_HOME/home/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alphaexport SQOOP_CONF_DIR$SQOOP_HOME/confexport PATH$SQOOP_HOME/bin:$PATHexport PATH④使配置生效source /etc/profile3、配置JDBC①解压(位置随意)tar -zxvf sqljdbc_3.0.1301.101_enu.atr.gz②复制jdbc到sqoop下cp sqljdbc_3.0/enu/sqljdbc4.jar /home/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib4、配置SQL Server sqoop Connector①解压(位置随意这里是/home)tar -zxvf sqoop-sqlserver-1.0.tar.gz②设置环境变量vi /etc/profile追加以下export MSSQL_CONNECTOR_HOME/home/sqoop-sqlserver-1.0/配置生效source /etc/profile③配置到sqoopcd sqoop-sqlserver-1.0./install.sh5、 配置sqoop存在这部分工作的原因是sqoop的默认配置会有一些我们不需要用到的东西在其配置文件$SQOOP_HOME/bin/configure-sqoop文件中定义了许多需要预先配置的参数与环境有些我们已经配置完成但是另外有些是不需要用到的(目前还没意识到有什么作用)因此为了防止运行时检查配置不通过我们直接的处理办法就是取消这部分的配置检查。注释ACCUMULO相关配置在configure-sqoop文件中注释掉与ACCUMULO_HOME相关的所有命令行并保存退出。6、目前的环境变量值得注意的是之前并没有加入HBase的环境变量在这里是需要把HBase相关的环境变量加入的。#/etc/profile#System wide environment and startup programs, for login setup#Functions and aliases go in /etc/bashrc#Its NOT a good idea to change this file unless you know what you#are doing. Its much better to create a custom.sh shell script in#/etc/profile.d/ to make custom changes to your environment, as this#will prevent the need for merging in future updates.pathmunge () {case:${PATH}: in*:$1:*);;*)if [ $2 after] ; thenPATH$PATH:$1elsePATH$1:$PATHfiesac}if [ -x /usr/bin/id ]; thenif [ -z $EUID]; then#ksh workaroundEUIDid -uUIDid -rufiUSERid -unLOGNAME$USERMAIL/var/spool/mail/$USERfi# Path manipulationif [$EUID0]; thenpathmunge /sbinpathmunge /usr/sbinpathmunge /usr/local/sbinelsepathmunge /usr/local/sbin afterpathmunge /usr/sbin afterpathmunge /sbin afterfiHOSTNAME/bin/hostname 2/dev/nullHISTSIZE1000if [$HISTCONTROLignorespace] ; thenexport HISTCONTROLignorebothelseexport HISTCONTROLignoredupsfiexport PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL# By default, we want umask to get set. This sets it for login shell# Current threshold for system reserved uid/gids is 200# You could check uidgid reservation validity in# /usr/share/doc/setup-*/uidgid fileif [ $UID -gt 199 ] [id -gnid -un]; thenumask 002elseumask 022fifor i in /etc/profile.d/*.sh ; doif [ -r$i]; thenif [${-#*i} ! $- ]; then. $ielse.$i /dev/null 21fifidoneunset iunset-fpathmungeexport JAVA_HOME/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.131.x86_64export CLASSPATH.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH$PATH:$JAVA_HOME/bin#hadoopexport HADOOP_HOME/home/hadoop/hadoop-2.7.3export PATH$PATH:$HADOOP_HOME/sbinexport PATH$PATH:$HADOOP_HOME/bin#zookeeperexport ZOOKEEPER_HOME/home/zookeeper/zookeeper-3.4.6/export PATH$ZOOKEEPER_HOME/bin:$PATHexport PATH#HBaseexport HBASE_HOME/home/hbase/hbase-1.2.4export PATH$HBASE_HOME/bin:$PATHexport PATH#hiveexport HIVE_HOME/home/hive/apache-hive-2.1.1-binexport PATH$HIVE_HOME/bin:$PATHexport PATHexport HCAT_HOME$HIVE_HOME/hcatalog#sqoopexport SQOOP_HOME/home/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alphaexport SQOOP_CONF_DIR$SQOOP_HOME/confexport PATH$SQOOP_HOME/bin:$PATHexport PATHexport MSSQL_CONNECTOR_HOME/home/sqoop-sqlserver-1.0/7、数据迁移实验在执行迁移命令之前需要在Hbase中建立好对应的表#hbase shell进入hbase shell后执行create test, cf然后在Terminal中执行#sqoop import --connect jdbc:sqlserver://;username;password;database --table --hbase-table --column-family --hbase-row-key 需要注意①如果SQL Server的表是正常的单一主键的表结构那么可以直接指定hbase-row-key执行上述命令此时该命令会默认以多个mapreduce任务执行该指令②如果SQL Server的表是联合主键那么这样导入就会存在一个问题无法根据主键分解查询任务也就没有办法进行MapReduce那么此时必须指定参数 -m 1只用一个mapreduce任务③针对没有主键的情况若数据量巨大必须分为多个mapreduce任务那么需要找到一个拆分字段从而hive可以根据该字段拆分任务。此时我们须在导入指令中添加--split-by 在我实际的操作中SQL Server中的表结构是联合主键第一次导入表中100条数据记录根据这篇博客的介绍配置了$SQOOP_HOME/conf/sqoop-site.xml我指定了--hbase-row-key ,并指定-m 1导入数据成功。(耗时22sec)第二次尝试将数据库中的近160W条数据记录导入到HBase中添加参数--split-by 并指定-m 12数据同样导入成功。(耗时17min25sec)8、存在问题对sqoop拆分任务的理解仍然不够深入自己完成的实验虽然成功但是并没有做对比实验确定真正的影响因素9、参考文章参考链接
