• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    迪恩网络公众号

rocketmq-flume: 该项目用于RocketMQ与Flume-ng之间的消息接收和投递。 ...

原作者: [db:作者] 来自: 网络 收藏 邀请

开源软件名称:

rocketmq-flume

开源软件地址:

https://gitee.com/mxb/rocketmq-flume

开源软件介绍:

rocketmq-flume Source&Sink

该项目用于RocketMQFlume-ng之间的消息接收和投递。

  1. 首先请确定您已经对RocketMQFlume-ng有了基本的了解
  2. 确保本地maven库中已经存在RocketMQ相关的包,或者下载RocketMQ源码自行编译
  3. 在rocketmq-flume项目根目录执行mvn clean install dependency:copy-dependencies
  4. 将rocketmq-flume相关依赖jar包拷贝到$FLUME_HOME/lib目录中(具体包会在后面描述)

Sink

Sink配置说明

配置项必填默认值说明
namesrvAddr必填nullName Server地址,遵循RocketMQ配置方式
producerGroup可选DEFAULT_PRODUCERProducer分组
topic必填nullTopic名称
tags可选空字符串Tag名称,遵循RocketMQ配置方式

Sink综合示例

  • 编写Flume的配置文件
agent1.sources=source1agent1.channels=channel1agent1.sinks=sink1agent1.sources.source1.type=avroagent1.sources.source1.bind=0.0.0.0agent1.sources.source1.port=15151agent1.sources.source1.channels=channel1agent1.sinks.sink1.type=com.handu.flume.sink.rocketmq.RocketMQSinkagent1.sinks.sink1.namesrvAddr=rocketmq_namesrv:9876agent1.sinks.sink1.producerGroup=MyProducerGroup_1agent1.sinks.sink1.topic=FromFlumeagent1.sinks.sink1.tag=Tag1agent1.sinks.sink1.channel=channel1agent1.channels.channel1.type=memoryagent1.channels.channel1.capacity=100agent1.channels.channel1.transactionCapacity=100agent1.channels.channel1.keep-alive=3
  • 将下面jar包拷贝到$FLUME_HOME/lib目录中
rocketmq-flume-sink-1.0.0.jar (文件位置: $PROJECT_HOME/rocketmq-flume-sink/target)fastjson-1.1.41.jar (文件位置: $PROJECT_HOME/rocketmq-flume-sink/target/dependency)netty-all-4.0.23.Final.jar (文件位置: $PROJECT_HOME/rocketmq-flume-sink/target/dependency)rocketmq-client-3.2.2.jar (文件位置: $PROJECT_HOME/rocketmq-flume-sink/target/dependency)rocketmq-common-3.2.2.jar (文件位置: $PROJECT_HOME/rocketmq-flume-sink/target/dependency)rocketmq-remoting-3.2.2.jar (文件位置: $PROJECT_HOME/rocketmq-flume-sink/target/dependency)
  • 执行测试命令查看
shell1> $FLUME_HOME/bin/flume-ng agent -c conf -f conf/flume.conf -n agent1 -Dflume.root.logger=INFO,consoleshell2> $FLUME_HOME/bin/flume-ng avro-client -H localhost -p 15151 -F $FLUME_HOME/README
  • 查看shell1控制台输出的信息

Source

Source配置说明

配置项必填默认值说明
namesrvAddr必填nullName Server地址,遵循RocketMQ配置方式
consumerGroup可选DEFAULT_CONSUMERConsumer分组
topic必填nullTopic名称
tags可选*Tag名称,遵循RocketMQ配置方式
messageModel可选BROADCASTINGBROADCASTING或CLUSTERING
maxNums可选32一次读取消息数量

Source综合示例

agent1.sources=source1agent1.channels=channel1agent1.sinks=sink1agent1.sources.source1.type=com.handu.flume.source.rocketmq.RocketMQSourceagent1.sources.source1.namesrvAddr=rocketmq_namesrv:9876agent1.sources.source1.consumerGroup=MyConsumerGroup_1agent1.sources.source1.topic=TopicTestagent1.sources.source1.tags=*agent1.sources.source1.messageModel=BROADCASTINGagent1.sources.source1.maxNums=32agent1.sources.source1.channels=channel1agent1.sinks.sink1.type=loggeragent1.sinks.sink1.channel=channel1agent1.channels.channel1.type=memoryagent1.channels.channel1.capacity=100agent1.channels.channel1.transactionCapacity=100agent1.channels.channel1.keep-alive=3
  • 将下面jar包拷贝到$FLUME_HOME/lib目录中
rocketmq-flume-source-1.0.0.jar (文件位置: $PROJECT_HOME/rocketmq-flume-source/target)fastjson-1.1.41.jar (文件位置: $PROJECT_HOME/rocketmq-flume-sink/target/dependency)netty-all-4.0.23.Final.jar (文件位置: $PROJECT_HOME/rocketmq-flume-sink/target/dependency)rocketmq-client-3.2.2.jar (文件位置: $PROJECT_HOME/rocketmq-flume-sink/target/dependency)rocketmq-common-3.2.2.jar (文件位置: $PROJECT_HOME/rocketmq-flume-sink/target/dependency)rocketmq-remoting-3.2.2.jar (文件位置: $PROJECT_HOME/rocketmq-flume-sink/target/dependency)
  • 向RocketMQ中投递一些测试消息

  • 执行测试命令查看控制台输出

$FLUME_HOME/bin/flume-ng agent -c conf -f conf/flume.conf -n agent1 -Dflume.root.logger=INFO,console

鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
热门推荐
热门话题
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap