1688货源网官方网站,pc网站建设意见,做科学小制作的视频网站,单页面企业网站要使用storm首先要安装以下工具#xff1a;JDK、Python、zookeeper、zeromq、jzmq、storm
#xff08;注#xff1a;各个模块都是独立的#xff0c;如果安装失败或者卡顿可以单独百度某个模块的安装#xff0c;都是可以的。#xff09;
JDK1.7安装 参见上篇《Ubuntu下安…要使用storm首先要安装以下工具JDK、Python、zookeeper、zeromq、jzmq、storm
注各个模块都是独立的如果安装失败或者卡顿可以单独百度某个模块的安装都是可以的。
JDK1.7安装 参见上篇《Ubuntu下安装配置JDK1.7》http://www.cnblogs.com/stone_w/p/4469548.html 第一步安装Python2.7.2ubuntu wget http://www.python.org/ftp/python/2.7.2/Python-2.7.2.tgz
tar zxvf Python-2.7.2.tgz
cd Python-2.7.2
./configure
make
make install
vi /etc/ld.so.conf
追加/usr/local/lib/
sudo ldconfig 第二步安装zookeeper
下载zookeeper 解压安装http://pan.baidu.com/s/1jGjA90M tar -zxvf zookeeper-3.3.5.tar.gz
cp -R zookeeper-3.3.5 /usr/local/
ln -s /usr/local/zookeeper-3.3.5/ /usr/local/zookeeper
gedit /etc/profile (设置ZOOKEEPER_HOME和ZOOKEEPER_HOME/bin)
export ZOOKEEPER_HOME/path/to/zookeeper
export PATH$PATH:$ZOOKEEPER_HOME/bin
cp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg (用zoo_sample.cfg制作$ZOOKEEPER_HOME/conf/zoo.cfg)
mkdir /tmp/zookeeper
mkdir /var/log/zookeeper zookeeper的单机安装已经完成了。 第三步安装zeromq以及jzmqjzmq的安装貌似是依赖zeromq的所以应该先装zeromq再装jzmq。1安装zeromq wget http://download.zeromq.org/zeromq-2.2.0.tar.gz
tar zxf zeromq-2.2.0.tar.gz
cd zeromq-2.2.0
./configure
make
make install
sudo ldconfig (更新LD_LIBRARY_PATH) zeromq安装完成。注意如有有依赖报错需要安装jzmq dependencies 依赖包sudo yum install uuid*sudo yum install libtoolsudo yum install libuuid sudo yum install libuuid-devel2安装jzmq yum install git
git clone git://github.com/nathanmarz/jzmq.git
cd jzmq
./autogen.sh
./configure
make
make install 然后jzmq就装好了.注意在./autogen.sh这步如果报错autogen.sh:error:could not find libtool is required to run autogen.sh这是因为缺少了libtool可以用#yum install libtool*来解决。
第四步安装Storm
我使用的Storm版本是最新的稳定版0.8.2下载解压修改/conf/storm.yaml配置文件
Storm 0.8.2 下载 http://pan.baidu.com/s/1sjODKPB unzip storm-0.8.2.zip
mv storm-0.8.2 /usr/local/
ln -s /usr/local/storm-0.8.2/ /usr/local/storm
gedit /etc/profile
export STORM_HOME/usr/local/storm-0.8.2
export PATH$PATH:$STORM_HOME/bin 到此为止单机版的Storm就安装完毕了。
启动Storm /usr/local/zookeeper/bin/zkServer.sh start
cd /usr/local/storm-0.8.2
bin/storm nimbus
bin/storm supervisor
bin/storm ui 如果我们没有为storm添加环境变量那么在启动的时候我们就需要使用绝对路径或相对路径来定位/chenny/Storm/storm-0.8.2/bin/storm这个程序。启动完成后我们可以使用jps来查看进程状态 jps 在没有运行任务时我们必须应该要看到5个进程QuorumPeerMain、nimbus、core、Jps、supervisor。否则 就需要检查是否正确地启动如果启动之后没有过多久就停止了我们就需要查看~/storm-0.8.2/logs下面的对应的log文件查看引起异常 的原因是什么然后解决后再次启动。 同时我们可以在浏览器中输入http://127.0.0.1:8080来进入Storm UI的界面可以查看Storm运行期间的相关信息。 第五步测试一下本地模式的WordCount
网上别的资料介绍了许多方式来编译可执行的Topology程序我们这里提供一个简单的办法只需要使用Eclipse和相关的Jar包即 可Ubuntu或者Windows环境下均可。我们需要从github上下载下来一个供初学者学习的storm-starter同时我们还需要有 commons-collections-3.2.1-bin.tar.gz、twitter4j-2.2.6.zip和storm-0.8.2.zip 等软件包如果没有的话需要去下载。以Windows XP下的Eclipse为例。首先我们将所有需要的包解压放到桌面打开Eclipse新建Java Project名字任意取我取名叫做MyFirstStormApp然后点击Finish。
在MyFirstStormApp上右键选择Import然后选择File System 在From Directory中输入相应的路径或者点击Browse选择路径 我们依次展开storm-starter-master/src/jvm/storm选中jvm文件夹点击确定然后勾选jvm点击finish 这样我们就在左侧看到Project的结构 拖动storm到src中然后安装同样的方式将 storm-starter-master/storm-starter-master/multilang导入到项目中然后我们就在左侧看到如下图所示的结构 可以看到上面有很多红叉此时我们就需要导入项目所依赖的jar包在项目上右键选择Properties然后Java Build Path切换到Libraries选项夹下点击Add External JARs 将storm-0.8.2/lib目录下的所有jar包都加入到项目中将
commons-collections-3.2.1.jar添加到 项目中将twitter4j-2.2.6/lib中的所有jar包加入到项目中将storm-0.8.2/storm-0.8.2.jar加入到项目 中然后点击OK这个时候可以看到项目中的所有错误都消失了。接下来我们将PrintSampleStream.java和 TwitterSampleSpout.java中的注释取消或者将这两个文件删除 在项目上选择Export然后选择JAR file在下一页我们将项目导出勾选如下图所示 点击finish后如果没有错误只有warning的话就不用管了否则我们需要检查错误然后重新打包。打包后的jar包是MyFirstStormApp.jar将它拷贝到部署有Storm的机器上/usr/local/storm-0.8.2目录下然后在终端中输入
bin/storm jar MyFirstStormApp.jar storm.starter.WordCountTopology test2 如果没有错误就成功提交了在浏览器中输入http://127.0.0.1:8080可以看到这个Topology已经在运行了点击它的名字可以进入Topology summary 如果看到这些数据就说明我们正确地完成了配置。
