网站开发直播软件,徐州企业自助建站,为什么wordpress主题访问很慢,网站业务需求文档戳蓝字“CSDN云计算”关注我们哦#xff01;归于Apache社区#xff0c;Storm被业界称为实时版Hadoop。随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍。而目前已是分布式技术领域最新爆发点#xff0c;Storm更是流计算技术中的佼佼者和主流。今天我们就一起来看看Sto… 戳蓝字“CSDN云计算”关注我们哦归于Apache社区Storm被业界称为实时版Hadoop。随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍。而目前已是分布式技术领域最新爆发点Storm更是流计算技术中的佼佼者和主流。今天我们就一起来看看Storm的精华问答1Qtask与executor有什么关系A在我们安装配置Storm的时候不知大家是否主要到了一个问题就是我们在配置的时候会加几个worker的端口(supervisor.slots.ports:)比如众多文档中提到的6700/6701等等类似的东西。没错这就是我们定义了该supervisor最多的worker数worker中执行一个bolt或者spout线程我们就称之为task而executor是物理上的线程概念我们可以将其称为执行线程而task更多是逻辑概念上的有时候bolt与spout的task会共用一个executor特别是在系统负荷比较高的时候。2Qstorm与Hadoop区别Astorm用于实时计算hadoop用于离线计算storm处理的数据保存在内存中源源不断hadoop处理的数据保存在文件系统中一批一批storm的数据通过网络传输进来的hadoop的数据保存在磁盘中storm与hadoop的编程模型相似3QStorm的Spout组件中的ack及fail是一个什么样的机制呢 AStorm保证每一个数据都得到有效处理这是如何保证的呢正是ack及fail机制确保数据都得到处理的保证但是storm只是提供给我们一个接口而具体的方法得由我们自己来实现。例如在spout下一个拓扑节点的bolt上我们定义某种情况下为数据处理失败则调用fail则我们可以在fail方法中进行数据重发这样就保证了数据都得到了处理。其实通过读storm的源码里面有讲到有些类BaseBasicBolt是会自动调用ack和fail的不需要我们程序员去ack和fail但是其他Bolt就没有这种功能了。4QIRichBolt与IBasicBolt接口有什么区别A首先从类的组成上进行分析可以看到IBasicBolt接口只有execute方法和declareOutputFields方法而IRichBolt接口上除了以上几个方法还有prepare方法和cleanup及map方法。而且其中execute方法是有些不一样的其参数列表不同。总体来说Rich方法比较完善我们可以使用prepare方法进行该Bolt类的初始化工作例如我们链接数据库时需要进行一次数据库连接操作我们就可以把该操作放入prepare中只需要执行一次就可以了。而cleanup方法能在该类调用结束时进行收尾工作往往在处理数据的时候用到例如在写hdfshadoop的文件系统数据的时候在结束时需要进行数据clear则需要进行数据收尾。当然根据官网及实际的测验该方法往往是执行失败的。5Q发布topologies 到远程集群时出现Nimbus host is not set 异常请问是什么问题 A原因是Nimbus 没有被正确启动起来可能是storm.yaml 文件没有配置或者配置有问题。解决方法是打开storm.yaml 文件正确配置nimbus.host: xxx.xxx.xxx.xxx重启nimbus后台程序即可。小伙伴们冲鸭后台留言区等着你关于Hadoop今天你学到了什么还有哪些不懂的除此还对哪些话题感兴趣快来留言区打卡啦留言方式打开第XX天答……同时欢迎大家搜集更多问题投稿给我们风里雨里留言区里等你~福利1、扫描添加小编微信备注“姓名公司职位”加入【云计算学习交流群】和志同道合的朋友们共同打卡学习2、公众号后台回复白皮书获取IDC最新数据白皮书整理资料推荐阅读上万条数据撕开微博热搜的真相IT公司老板落水各部门员工怎么救HTML 30 年进化史读了鸿蒙 OS 的代码后我发现优秀项目都有这个共性字节跳动李航自学机器学习研究AI三十载他说AI发展或进入平缓期主链增幅最高飚至 152%主流币却惊现回落以太坊发币速度持续放缓真香朕在看了
