下载flume-ng
$ wget http://mirrors.hust.edu.cn/apache/flume/1.5.2/apache-flume-1.5.2-bin.tar.gz
解压,创建文件输出目录
创建flume的配置
$ vi conf/flume-conf.properties
agent1.sources = source1
agent1.sinks = sink1
agent1.channels = channel1
# Describe/configure source1
agent1.sources.source1.type = avro
agent1.sources.source1.bind = 10.111.131.68 # avro监听host
agent1.sources.source1.port = 44446 # avro监听port
agent1.sources.source1.channels = channel1
# Use a channel which buffers events in memory
agent1.channels.channel1.type = memory
agent1.channels.channel1.capacity = 1000
agent1.channels.channel1.transactionCapactiy = 100
# Bind the source and sink to the channel
# Describe sink1
agent1.sinks.sink1.type = file_roll # 文件输出
agent1.sinks.sink1.sink.directory = /home/hai/app-monitoring/flume/apache-flume-1.5.2-bin/flumed-logs # 文件输出目录
agent1.sinks.sink1.channel = channel1
|
拷贝
apache-flume-1.5.2-bin/tools/flume-ng-log4jappender-1.5.2-jar-with-dependencies.jar
到需要输出日志的应用的WEB-INF/lib下
修改log4j配置
log4j.appender.flume=org.apache.flume.clients.log4jappender.Log4jAppender
log4j.appender.flume.layout=org.apache.log4j.PatternLayout
log4j.appender.flume.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss}%5p %F %L %m%n
log4j.appender.flume.Hostname=10.111.131.68
log4j.appender.flume.Port=44446
log4j.rootCategory=DEBUG, console, flume
|
启动flume
bin/flume-ng agent -n agent1 -c conf -f conf/flume-conf.properties -Dflume.monitoring.type=http -Dflume.monitoring.port=34545
接下来就可以在日志输出目录查看到日志文件了
这个页面可以看到flume的计量信息
http://10.111.131.68:34545/metrics
$ ls flumed-logs/
1426141638517-1 1426141638517-14 1426141638517-19 1426141638517-23 1426141638517-28 1426141638517-32 1426141638517-37 1426141638517-7
1426141638517-10 1426141638517-15 1426141638517-2 1426141638517-24 1426141638517-29 1426141638517-33 1426141638517-38 1426141638517-8
1426141638517-11 1426141638517-16 1426141638517-20 1426141638517-25 1426141638517-3 1426141638517-34 1426141638517-4 1426141638517-9
|
相关推荐
Flume-ng-1.6.0-cdh.zip 内压缩了 3 个项目,分别为:flume-ng-1.6.0-cdh5.5.0.tar.gz、flume-ng-1.6.0-cdh5.7.0.tar.gz 和 flume-ng-1.6.0-cdh5.10.1.tar.gz,选择你需要的版本。
flume-ng-sql-source-1.5.2源码
flume-ng-sql-source-release-1.5.2.jar 用flume-ng-sql-source 从数据库抽取数据到kafka,支持sql
flume-ng-1.6.0-cdh5.5.0.tar.gz
flume-ng-sql-source-1.5.1 flume连接数据库 很好用的工具
flume-ng-sql-source-1.5.3.jar,flume采集mysql数据jar包,将此文件拖入FLUME_HOME/lib目录下,如果是CM下CDH版本的flume,则放到/opt/cloudera/parcels/CDH-xxxx/lib/flume-ng/lib下,同样需要的包还有mysql-...
flume-ng-sql-source-1.5.2.jar从数据库中增量读取数据到hdfs中的jar包
flume-ng-1.6.0 cdh5.7.0安装包,稳定版本。大家可以自由下载
包含flume-ng-sql-source-1.5.1&flume;-ng-sql-source-1.4.1 此内容均为网上下载
flume-ng-sql-source-1.4.3.jar
flume-ng-1.5.0-cdh5.3.6.rarflume-ng-1.5.0-cdh5.3.6.rar flume-ng-1.5.0-cdh5.3.6.rar flume-ng-1.5.0-cdh5.3.6.rar flume-ng-1.5.0-cdh5.3.6.rar flume-ng-1.5.0-cdh5.3.6.rar flume-ng-1.5.0-cdh5.3.6.rar flume...
Flume-ng在windows环境搭建并测试+log4j日志通过Flume输出到HDFS 11111
flume-ng-sdk-1.6.0.ja,如果想要通过log4j将日志直接导入到flume需要导入这个jar包
flume-ng-sql-source实现oracle增量数据读取 flume连接oracle增量数据读取
修改以后的flume-ng-core-1.7.0.jar,将原来的文件按行读取修改为按文件读取。使用时,直接替换到集群中flume安装目录下面lib文件夹中的flume-ng-core-1.7.0.jar即可使用。
flume-ng-1.6.0-cdh5.14.0-src.tar.gz 源码包,供参考
CDH版本的flume Flume是Cloudera提供的一个高可用的,高可靠...当前Flume有两个版本Flume 0.9X版本的统称Flume-og,Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构,与Flume-og有很大不同,使用时请注意区分。
Flume读取mysql配置,导入即可用,详细参考https://github.com/keedio/flume-ng-sql-source/tree/release/1.5.1