博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Storm-0.9.3新特性
阅读量:4704 次
发布时间:2019-06-10

本文共 1507 字,大约阅读时间需要 5 分钟。

2014年11月25日,Storm发布了0.9.3的版本。Storm 0.9.3的版本修改了100个Bug,改进了与Kafka的集成,并增加了与HDFS和HBase的集成。

改进了与Kafka的集成

Apache Storm从0.9.2-incubating版本开始支持Kafka作为流数据的数据源。0.9.3的版本在此基础上进行了几项改进,包括向一个或多个Kafka集群或topic写入数据。Storm现在既可以将Kafka作为流数据的数据源,也可以将它作为流数据的目的地。这使得Storm支持Topology间通信,Topology链,基于Spout/Bolt的Topology与基于Trident数据流的集成,和与支持以Kafka作为数据源的任何外部系统的集成。Storm 0.9.3使用的Kafka的版本为 Apache Kafka 0.8.1.1.

更多信息请查看

与HDFS的集成

很多数据流的处理实例都涉及到将处理结果存储到HDFS上,以做进一步的分析和离线处理。为了使Topology的开发者更容易地将数据写入HDFS,0.9.3的版本包含了若干个支持这种功能的Bolt和Trident state的实现。Storm 0.9.3使用的Hadoop版本为Hadoop 2.2.0.

更多信息请查看

与HBase的集成

Storm 0.9.3与HBase的集成包含了若干个允许Topology对HBase进行实时写入与查询的组件。Storm与HBase的集成使得用户可以对HBase中的数据进行流式查询,也可以将数据流处理结果存入HBase。Storm 0.9.3使用的HBase的版本为HBase 0.98.1-hadoop2

更多信息请查看

减少了包依赖冲突

在之前版本的Storm中,用户的Topology依赖包经常与Storm使用的依赖包相冲突。Storm 0.9.3更改了多个经常导致冲突的依赖包的位置。

以下列表列出了这些依赖包的位置:

Dependency Original Package Storm Package
Apache Thrift org.apache.thrift org.apache.thrift7
Netty org.jboss.netty org.apache.storm.netty
Google Guava  com.google.common org.apache.storm.guava
com.google.thirdparty org.apache.storm.guava.thirdparty
Apache HTTPClient org.apache.http org.apache.storm.http
Apache ZooKeeper org.apache.zookeeper org.apache.storm.zookeeper
Apache Curator org.apache.curator org.apache.storm.curator

改进了支持多语言特性

Storm 0.9.3包含一个新的Node.js多语言实现,允许开发人员使用JavaScript编写spouts和bolts。此外,多语言协议的健壮性和错误处理能力也得到了很大的提升。这也导致多语言API发生了向后不兼容的变化。因此,在升级之前,使用了多语言拓扑的用户应查看Python、Ruby和JavaScript的多语言示例以确定其影响。

更全面的信息请查看

 

转载于:https://www.cnblogs.com/jackiecoder/p/4169978.html

你可能感兴趣的文章
cookie机制、session机制
查看>>
BZOJ 3787: Gty的文艺妹子序列
查看>>
Comet OJ - Contest #5 简要题解
查看>>
CF1093G Multidimensional Queries
查看>>
移动端提升页面速度与网站性能
查看>>
中国剩余定理学习笔记
查看>>
深度学习中优化【Normalization】
查看>>
POJ2309BST(树状数组)
查看>>
洛谷P2114 起床困难综合症【位运算】【贪心】
查看>>
Ubuntu+caffe训练cifar-10数据集
查看>>
net 把指定 URI 的资源下载到本地
查看>>
[转]大型网站系统架构的演化
查看>>
非常好的JSUI
查看>>
基于EasyNVR摄像机无插件直播流媒体服务器实现类似于单点登录功能的免登录直播功能...
查看>>
python学习0day
查看>>
函数指针的使用
查看>>
[转]javascript实现限制上传文件的大小
查看>>
控制台应用程序窗口无法输入汉字解决办法
查看>>
一个关于session的问题
查看>>
加快开发时间的8个CSS的预处理程序
查看>>