博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Storm 简单介绍
阅读量:6348 次
发布时间:2019-06-22

本文共 1002 字,大约阅读时间需要 3 分钟。

Nimbus :负责资源分配和任务调度, 把任务相关的元信息写入Zookeeper 对应文件夹。

Supervisor :负责接受nimbus 分配的任务,启动和停止属于自己管理的worker 进程。

Worker :执行详细处理组件逻辑的进程。
Executor :执行spout/bolt 的线程
Task : worker 中每个spout/bolt 的线程称为一个task.
Topology : storm 中执行的实时应用程序,消息在各个组件间流动形成逻辑上的拓扑结构。

Spout :在一个topology 中产生源数据流的组件, Spout 是一个主动的角色。
Bolt :在一个topology 中接受数据然后运行处理的组件。

Bolt 能够运行过滤、函数操作、合并、写数据库等不论什么操作。Bolt 是一个被动的角色。

Tuple :消息传递的基本单元。
Stream :源源不断传递的tuple 就组成了stream 。
stream grouping :即消息的partition 方法。Storm 中提供若干种有用的grouping 方式。包含

shuffle, fields hash, all, global, none, direct 和localOrShuffle 等。

特点

多语言编程。能够在Storm 之上使用各种编程语言。默认支持Clojure 、Java 、Ruby 和Python 。要添加对其它语言的支持。仅仅需实现一个简单的Storm 通信协议就可以。

容错性。Storm 会管理工作进程和节点的故障。假设您执行的计算过程中有错误, Storm 将又一次分配任务;此外,通过Transactional Topology 。 Storm 能够保证每一个tuple“ 被且仅被处理一次”。Storm 确保一个计算能够一直执行下去(或直到你杀死计算)。

水平扩展。计算是在多个线程、进程和server之间并行进行的。

高速

系统的设计保证了消息能得到高速的处理。使用?

MQ 作为其底层消息队列。

系统可靠性。Storm 这个分布式流计算框架是建立在Zookeeper 的基础上的。大量系统执行状态的元信息都序列化在Zookeeper 中。这样,当某一个节点出错时。相应的关键状态信息并不会丢失,换言之Zookeeper 的高可用保证了Storm 的高可用。

转载地址:http://zfvla.baihongyu.com/

你可能感兴趣的文章
Ubuntu里设置python默认版本为python3(转载)
查看>>
快排+折半查找
查看>>
c# GC 新典型
查看>>
ssh bash 通配符
查看>>
seajs在jquery多个版本下引用jquery的插件的方案
查看>>
关于网络上java,php和.net的“口角之争“的一点想法 !
查看>>
python 第二周(第十三天) 我的python成长记 一个月搞定python数据挖掘!(21) -正则表达式re...
查看>>
[POI2011]SEJ-Strongbox
查看>>
20文件
查看>>
Android开发Intent应用概述
查看>>
【Go】并发编程
查看>>
VMware虚拟化NSX-Manager命令行更改admin用户密码
查看>>
悦纳自己
查看>>
python字符串函数
查看>>
ORM框架Hibernate (四)MyEclipse Hibernate Tool 逆向生成实体类
查看>>
js中substr与substring的区别
查看>>
去掉iphone连接电脑时会出现的弹出窗口
查看>>
【python】-- web开发之HTML
查看>>
vs2015 去除 git 源代码 绑定
查看>>
解决firefox的button按钮文字不能垂直居中
查看>>