scp -r bigdata@gs-server-v-127:~/storm_eco bigdata@gs-server-v-128:~/storm_eco
scp -r bigdata@gs-server-v-127:~/storm_eco bigdata@gs-server-v-129:~/storm_eco
安装GCC
sudo yum install gcc*
# sudo yum install uuid*
# sudo yum install e2fsprogs*
# sudo yum install libuuid*
sudo yum install update-rc.d
1. 安装python2.7.2
============================
# wget http://www.python.org/ftp/python/2.7.2/Python-2.7.2.tgz
cd ~/storm_eco/python
# tar zxvf Python-2.7.2.tgz
# cd Python-2.7.2
# ./configure
# make
# make install
# sudo vi /etc/ld.so.conf
--
文件末尾追加
/usr/local/lib
--
#sudo ldconfig
============================
4. 安装storm
============================
# http://mirror.bit.edu.cn/apache/incubator/storm/apache-storm-0.9.2-incubating/
cd ~/storm_eco/storm
tar zxvf apache-storm-0.9.2-incubating.tar.gz
mv apache-storm-0.9.2-incubating storm-0.9.2
mkdir $STORM_HOME/workdir
vi storm.yaml
Storm 0.9.0.1版本的第一亮点是引入了netty transport。Storm网络传输机制实现可插拔形式,当前包含两种方式:原来的0mq传输,以及新的netty实现;在早期版本中(0.9.x之 前的版本),Storm只支持0mq传输,由于0MQ是一个本地库(native library),对平台的依赖性较高,要完全正确安装还是有一定挑战性。而且版本之间的差异也比较大;Netty Transport提供了纯JAVA的替代方案,消除了Storm的本地库依赖,且比0MQ的网络传输性能快一倍以上;
补充:之前写这篇文档的时候忘记把配置Netty Transport的方式写进来,所以可能很多朋友配置了之后会发觉后台会报一个错误;这里还是用的原来的方式,所以下面补充下storm使用netty配置的方式;
要配置Storm使用Netty传输需要添加以下配置和调整值到你的storm.yaml文件上,响应的配置值可根据你的需求自行调整
storm.messaging.transport: "backtype.storm.messaging.netty.Context" --指定传输协议
storm.messaging.netty.server_worker_threads: 1 --指定netty服务器工作线程数量
storm.messaging.netty.client_worker_threads: 1 --指定netty客户端工作线程数量
storm.messaging.netty.buffer_size: 5242880 --指定netty缓存大小
storm.messaging.netty.max_retries: 100 --指定最大重试次数
storm.messaging.netty.max_wait_ms: 1000 --指定最大等待时间(毫秒)
storm.messaging.netty.min_wait_ms: 100 --指定最小等待时间(毫秒)
vi $STORM_HOME/conf/storm.yaml
# vi ~/.bashrc
--
追加
export STORM_HOME=/usr/local/storm-0.9.2
export PATH=$PATH:$STORM_HOME/bin
--
============================
storm.zookeeper.servers:
- "10.200.200.56"
- "10.200.200.57"
- "10.200.200.58"
storm.local.dir: "$STORM_HOME/workdir"
nimbus.host: "10.200.200.56"
storm.local.dir: "/tmp/storm/data"
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
ui.port: 8081 # 我这里修改了storm的ui端口
将storm的目录复制到其它发服务器下去
scp -r bigdata@gs-server-v-127:~/storm_eco/storm/storm-0.9.2 bigdata@gs-server-v-128:~/storm_eco/storm/
scp -r bigdata@gs-server-v-127:~/storm_eco/storm/storm-0.9.2 bigdata@gs-server-v-129:~/storm_eco/storm/
scp -r bigdata@gs-server-v-127:/home/bigdata/storm_test/md.log bigdata@gs-server-v-128:/home/bigdata/storm_test/
scp -r bigdata@gs-server-v-127:/home/bigdata/storm_test/md.log bigdata@gs-server-v-129:/home/bigdata/storm_test/
scp -r bigdata@gs-server-v-128:/home/bigdata/profile bigdata@gs-server-v-127:/etc/profile
scp -r bigdata@gs-server-v-127:/etc/profile bigdata@gs-server-v-128:/home/bigdata/
================================================================
启动
Nimbus 在Nimbus机器上运行bin/storm nimbus&
Supervisor 在每台工作机器上运行bin/storm supervisor&, supervisor负责启动和终止工作机器上的工作进程。
UI storm UI是一个可以查看storm运行状态的的一个网站,通过bin/storm ui&运行,
访问地址: http://{nimbus.host}:8081/
执行jar:
提交Topologies
命令格式:storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】
样例:storm jar /storm-starter.jar storm.starter.WordCountTopology wordcountTop
#提交storm-starter.jar到远程集群,并启动wordcountTop拓扑。
停止Topologies
命令格式:storm kill 【拓扑名称】
样例:storm kill wordcountTop
#杀掉wordcountTop拓扑。
启动nimbus后台程序
命令格式:storm nimbus
启动supervisor后台程序
命令格式:storm supervisor
启动drpc服务
命令格式:storm drpc
启动ui服务
命令格式:storm ui
启动REPL
REPL — read-evaluate-print-loop。
虽然clojure可以作为一种脚本语言内嵌在java里面,但是它的首选编程方式是使用REPL,这是一个简单的命令行接口,使用它你可以输入你的命令,执行,然后查看结果, 你可以以下面这个命令来启动REPL:
命令格式:storm repl
打印本地配置
命令格式:storm localconfvalue 【配置参数关键字】
举例:storm localconfvalue storm.zookeeper.servers
#根据指定参数打印本地配置的值。
打印远程配置
命令格式:storm remoteconfvalue 【配置参数关键字】
举例:storm remoteconfvalue storm.zookeeper.servers
#根据指定参数打印远程配置的值。
执行Shell脚本
命令格式:storm shell resourcesdir command args
打印CLASSPATH
命令格式:storm classpath
相关推荐
rpm安装: rpm -ivh curlftpfs-0.9.2-14.el7.x86_64.rpm 编译安装: tar xvzf curlftpfs-0.9.2.tar.gz cd curlftpfs-0.9.2 ./configure make make install
fasttext-0.9.2-cp38-cp38-win_amd64
c3p0-0.9.2-pre1相关架包及demo
赠送原API文档:libthrift-0.9.2-javadoc.jar; 赠送Maven依赖信息文件:libthrift-0.9.2.pom; 包含翻译后的API文档:libthrift-0.9.2-javadoc-API文档-中文(简体)版.zip; Maven坐标:org.apache.thrift:libthrift...
fasttext-0.9.2-cp37-cp37m-win_amd64
swftools-0.9.2 swftools-0.9.2 Linux系统
里面包含两个jjar包:c3p0-0.9.2-pre1.jar以及mysql-connector-java-5.1.13-bin.jar,主要用于c3p0数据库连接池使用
thrift-0.9.2.安装.
apache tez 安装
org.freeswitch.esl.client-0.9.2.jar org.freeswitch.esl.client-0.9.2.sources.jar org.freeswitch.esl.client-0.9.2.javadoc.jar
c3p0-0.9.2-pre1.src.zip ,c3p0的一个包,里面包括c3p0-0.9.2.jar 以及 c3p0的api文档
C3P0是一个开源的JDBC连接池,它实现了数据源和JNDI绑定,支持JDBC3规范和JDBC2的标准扩展。
jruby-console-0.9.2.jar groovy-1.0-beta-2.jar groovy-all-1.8.6.jar bsh-1.3.0.jar
fasttext-0.9.2-cp39-cp39-win_amd64
thrift文件生成工具thrift-0.9.1.exe和thrift-0.9.2.exe压缩包
Gephi是一款开源免费跨平台基于JVM的复杂网络分析软件,,其主要用于各种网络和复杂系统,动态和分层图的交互可视化与探测开源工具。 Gephi提供gephi-toolkit是一套工具包(jar包集合),进行图编程,并提供了相对...
此资源包含c3p0-0.9.2.jar,mchange-commons-java-0.2.6.jar,方便数据库连接池的同学的学习
libgdx-0.9.2.zip libgdx-0.9.2.zip libgdx-0.9.2.zip
官方离线安装包,测试可用。使用rpm -ivh [rpm完整包名] 进行安装
Storm Core Java API 和 Clojure 实现。 org.apache.storm/storm-core/0.9.2-incubating/storm-core-0.9.2-incubating.jar