北京 网站建设 知乎,建站用什么代码最好,app制作教程课,在网站上怎么做招聘信息系列文章目录
物流实时数仓#xff1a;环境搭建 文章目录 系列文章目录前言一、环境准备1.前置环境2.hbase安装1.上传并解压2.配置环境变量3.拷贝jar包4.编写配置文件5.分发配置文件 3.Redis安装1.安装需要的编译环境2.上传并解压文件3.编译安装4.后台访问 4.ClickHouse安装5…系列文章目录
物流实时数仓环境搭建 文章目录 系列文章目录前言一、环境准备1.前置环境2.hbase安装1.上传并解压2.配置环境变量3.拷贝jar包4.编写配置文件5.分发配置文件 3.Redis安装1.安装需要的编译环境2.上传并解压文件3.编译安装4.后台访问 4.ClickHouse安装5.Flink安装 二、数据采集1.上传文件2.创建数据库3.模拟数据 总结 前言
之前学校安排了实训所以有一堆事情要处理。现在基本算是搞完了继续进行学习的提升这次进行的是实时数仓的学习可以算是大数据学习的最后阶段了。 以下是实时数仓的框架图。 一、环境准备
1.前置环境
我们需要准备好以下环境 jdk、hadoop、zookeeper、kafka、mysql。 这些环境在之前的离线数仓都安装过这里就不再重复了。 线上问诊
2.hbase安装
hbase专栏 接下来整合phoenix这个软件可以让我们用SQL操作hbase
1.上传并解压 2.配置环境变量
# PHOENIX_HOME
export PHOENIX_HOME/opt/module/phoenix
export PHOENIX_CLASSPATH$PHOENIX_HOME
export PATH$PATH:$PHOENIX_HOME/bin3.拷贝jar包
cp phoenix-server-hbase-2.4-5.1.3.jar /opt/module/hbase/lib/4.编写配置文件
vim /opt/module/hbase/conf/hbase-site.xmlpropertynamephoenix.schema.isNamespaceMappingEnabled/namevaluetrue/value
/propertypropertynamephoenix.schema.mapSystemTablesToNamespace/namevaluetrue/value
/propertyvim /opt/module/phoenix/bin/hbase-site.xmlpropertynamephoenix.schema.isNamespaceMappingEnabled/namevaluetrue/value
/propertypropertynamephoenix.schema.mapSystemTablesToNamespace/namevaluetrue/value
/property5.分发配置文件
xsync /opt/module/hbase/lib/phoenix-server-hbase-2.4-5.1.3.jar
xsync /opt/module/hbase/conf/hbase-site.xml 之后我们启动zk、hadoop和hbase测试一下。 然后访问以下hbase的webui http://hadoop102:16010/ 之后连接Phoenix
/opt/module/phoenix/bin/sqlline.py hadoop102,hadoop103,hadoop104:21813.Redis安装
1.安装需要的编译环境
sudo yum install centos-release-scl scl-utils-build
sudo yum install -y devtoolset-8-toolchain
sudo scl enable devtoolset-8 bash2.上传并解压文件
tar -xvf redis-6.0.8.tar.gz -C /opt/module/
cd ../module/redis-6.0.8/3.编译安装
make
make install4.后台访问
注意上边命令是用root完成现在我们用atguigu进行下边的命令。
备份redis.conf
cp /opt/module/redis-6.0.8/redis.conf ~/my_redis.conf修改设置
vim ~/my_redis.confRedis启动
redis-server ./my_redis.conf4.ClickHouse安装
具体内容参考之前的博客不写了 ClickHouse
5.Flink安装
Flink安装
二、数据采集
1.上传文件
cd /opt/module/
mkdir tms
cd tms2.创建数据库 然后运行.sql文件 里面会有一些初始数据。
3.模拟数据
修改一下 application.yml 这里的信息根据自己的数据库信息进行修改。
java -jar tms-mock-2023-01-06.jar由于我们模拟的是实时数仓所以他会不停的生成数据所以等个半分钟就可以终止进程然后去数据库看数据了。 这就是生成数据的实时时间说明数据进行了更新但这不是模拟数据的时间模拟数据的时间可以在application.yml设置。
换个表查看 我们发现实时数据也进行了更新。 总结
至此物流实时数仓采集通道搭建完成。
