storm安装过程

storm的官方安装说明:https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster

本文主要介绍storm的单机版的安装测试,也是学习阶段,还没有机会搭建集群。

1.storm安装软件包列表

pythonzookeeperzeromqjzmqstorm

python保证2.7以上版本即可。

2.Zookeeper下载安装:

我下载的是zookeeper-3.4.6.tar.gz,解压之后直接配置使用

3.storm依赖软件安装:

来安装必要依赖软件。主要是zeromqjzmp

先安装zeromq

一般linux系统只要运行这个install_zmq.sh脚本就可以完成安装,但是在我的debian下这个脚本运行有问题,也没有去细看为什么,所以后面的安装就全是手动安装了

 

安装jzmq

src目录需要执行下面两行脚本,否则无法编译通过。

然后返回上层目录执行编译安装即可。

4.storm安装与启动

4.1storm的安装是最为简单的,直接下载解压,配置环境变量即可。

http://storm.incubator.apache.org/downloads.html 可以在这里下载最新的storm,本文使用了0.8.1的版本。

wget http://apache.dataguru.cn/incubator/storm/apache-storm-0.9.1-incubating/apache-storm-0.9.1-incubating.tar.gz

4.1启动zookeeper

zkServer.sh  单机版直接启动,不用修改什么配置,如集群就需要修改zoo.cfg

4.3配置启动storm

配置文件是storm/conf/storm.yaml

在配置时一定注意在每一项的开始时要加空格,冒号后也必须要加空格,否则storm就不认识这个配置文件了。

说明一下:storm.local.dir表示storm需要用到的本地目录。nimbus.host表示那一台机器是master机器,即nimbusstorm.zookeeper.servers表示哪几台机器是zookeeper服务器。storm.zookeeper.port表示zookeeper的端口号,这里一定要与zookeeper配置的端口号一致,否则会出现通信错误,切记切记。当然你也可以配superevisor.slot.portsupervisor.slots.ports表示supervisor节点的槽数,就是最多能跑几个worker进程(每个sproutbolt默认只启动一个worker,但是可以通过conf修改成多个)。

执行:

启动web监控服务,可以通过浏览器很方便的看运行情况, 127.0.0.1:8080

Screenshot from 2014-03-30 20:54:53

感觉有意思?来鼓励一下!
打赏黑光技术

Leave a Reply

Your email address will not be published. Required fields are marked *