注：以下配置项均为常见配置项，查询详细配置项可以访问 flume 官网

Source 常见配置项

Avro Source

配置项名称

默认值

描述

Channel

–

type

–

组件类型名称，必须为avro

bind

–

要监听的主机名或IP地址

port

–

要绑定的端口号

threads

–

产生的最大工作线程数

ipFilterRules

–

使用此配置定义N个netty ipFilter模式规则。

Thrift Source

配置项名称

默认值

描述

Channel

–

type

–

组件类型名称，必须为Thrift

bind

–

要监听的主机名或IP地址

port

–

要绑定的端口号

threads

–

产生的最大工作线程数

ipFilterRules

–

使用此配置定义N个netty ipFilter模式规则。

Exec Source

配置项名称

默认值

描述

Channel

–

type

–

组件名称，必须为 exec

command

–

需要执行的指令

restartThrottle

10000

重启之前需要等待的时间(10秒)

restart

false

cmd挂掉是否应该自动重启

batchSize

20

每次可以读取的行数

batchTimeout

3000

这批数据必须处理完的时间

Kafka Source

配置项名称

默认值

描述

channels

–

type

–

组件名称，必须为org.apache.flume.source.kafka,KafkaSource

zookeeperConnect

–

Zookeeper的地址

groupId

flume

consumer group的唯一标识，在多个source或多个agent中设置相同的ID表示它们属于同一个consumer group

topic

–

Kafka的Topic，只能是一个

batchSize

1000

一个批次中最大能取到的消息数

Netcat Source

配置项名称

默认值

描述

channels

–

type

–

组件名称，必须为 netcat

bind

–

需要绑定的主机

port

–

需要绑定的端口号

max-line-length

512

每条消息的最大字节数

ack-every-event

true

为每条成功接收的消息回复'OK'

Sequence Generator Source

配置项名称

默认值

描述

channels

–

type

–

组件名称，必须为 seq

Http Source

配置项名称

默认值

描述

type

组件名称，必须为http

port

–

需要绑定的端口

bind

0.0.0.0

需要监听的地址

handler

org.apache.flume.source.http.JSONHandler

handler类的完整名称

handler.*

–

handler的参数

Custom Source

配置项名称

默认

描述

channels

–

type

–

组件名称，为用户自定义的完整类名称

Channels 常用配置项

Memory Channel

配置项名称

默认值

描述

type

–

组件名称，必须为 memory

capacity

100

channel最大能存储的event数量

transactionCapacity

100

每次事务中能从source中拉取或下沉到sink的最大event数量

keep-alive

3

添加

byteCapacityBufferPercentage

20

定义byteCapacityBuffer 的占比，它与 byteCapacity之和为100%，byteCapacity见下栏

byteCapacity

在这个channel中允许存放的最大字节数 这个字节数只计算event body,这也是需要提供 byteCapacityBufferPercentage 配置参数的原因。 默认为JVM可用最大内存的80% (即通过命令行传递的-Xmx值的80%)。 注意，如果一个agent里面包含了多个channel，channel里面又包含了多个相同的events，那么这些events会被重复计算。 将它设为 0 将会导致这个值强制设定为200GB的容量

JDBC Channel

配置项名称

默认值

描述

type

–

组件名称，必须为 jdbc

db.type

DERBY

数据库类型，必须为 DERBY.

driver.class

org.apache.derby.jdbc.EmbeddedDriver

JDBC 驱动类

driver.url

(constructed from other properties)

JDBC 连接路径 URL

db.username

“sa”

数据库用户

db.password

–

密码

connection.properties.file

–

JDBC 连接的配置文件

create.schema

true

如果为真，则如果库不存在，就会自动创建

create.index

true

创建索引以加快查找

create.foreignkey

true

是否允许创建外键

transaction.isolation

“READ_COMMITTED”

隔离级别 READ_UNCOMMITTED, READ_COMMITTED, SERIALIZABLE, REPEATABLE_READ

maximum.connections

10

运行连接数据库的最大连接数

maximum.capacity

0 (不限制)

channel中允许的最大event数

sysprop.*

数据库特殊配置

sysprop.user.home

嵌入式Derby数据库的存储路径

Kafka Channel

配置项名称

默认值

描述

type

–

组件名称，必须为 org.apache.flume.channel.kafka.KafkaChannel

brokerList

–

Kafka Broker列表，建议至少有两台用于实现高可用，格式为hostname:port，broker之间用‘，’隔开

zookeeperConnect

–

Kafka集群使用的ZooKeeper的URI 格式是‘，’分隔的主机名hostname:port。如果使用chroot，则在末尾添加一次。 例如: zookeeper-1:2181,zookeeper-2:2182,zookeeper-3:2181/kafka

topic

flume-channel

Kafka topic

groupId

flume

channel用于在kafka注册的GroupID，多个channel必须使用相同的topic和group，以确保当一个agent失败时，另一个agent可以获得数据 注意:相同GroupID但是没有channel的consummer将导致丢失

readSmallestOffset

false

当设置为true时，通道将从最老的事件开始读取主题中的所有数据，当为false时，它将只读取通道启动后写入的事件

Other Kafka Properties

–

这些属性用于配置通道使用的Kafka生产者和消费者。Kafka支持的任何属性都可以使用。惟一的要求是在属性名前面加上前缀 kafka.. 举个例子: kafka.producer.type

File Channel

配置项名称 默认值

描述

type

–

组件名称，必须为 file.

checkpointDir

~/.flume/file-channel/checkpoint

checkpoint文件的存储目录

useDualCheckpoints

false

备份checkpoint文件，如果它为 true, backupCheckpointDir 必须 被设置

backupCheckpointDir

–

用于备份的checkpoint目录，它 必须不能 与原checkpoint目录一样

dataDirs

~/.flume/file-channel/data

‘，’分隔的目录列表，用于存储日志文件。在不同的磁盘上使用多个目录可以提高filechannel的性能

transactionCapacity

10000

channel支持的最大事务数

checkpointInterval

30000

checkpoint之间的最大时间间隔

maxFileSize

2146435071

单个日志文件最大的字节数

minimumRequiredSpace

524288000

最少需要的空闲空间(以字节为单位)。为了避免数据损坏，当空闲空间低于此值时，filechannel将停止接受take/put请求

capacity

1000000

单个channel存储的最大容量

keep-alive

3

一个put操作执行的最大时间

checkpointOnClose

true

在关闭时是否创建检查点，如果设置为true，可以加速filechannel的后续启动。

Sinks 常用配置

HDFS Sink

Name

默认值

描述

channel

–

type

–

组件名称，必须为 hdfs

hdfs.path

–

HDFS 目录路径 (例如 hdfs://namenode/flume/webdata/)

hdfs.filePrefix

FlumeData

Flume创建的文件名的前缀

hdfs.fileSuffix

–

Flume创建的文件名的后缀 (例如 .avro - 注意：当前不会自动添加)

hdfs.inUsePrefix

–

当前正在写入的文件名的前缀

hdfs.inUseSuffix

.tmp

当前正在写入的文件名的后缀

hdfs.rollInterval

30

触发文件滚动要等待的秒数 (0 = 无需根据时间进行滚动)

hdfs.rollSize

1024

触发文件滚动的字节数大小 (0: 无需根据文件大小滚动)

hdfs.rollCount

10

触发文件滚动的event数量 (0 = 无需根据events进行滚动)

hdfs.idleTimeout

0

自动关闭文件的时间间隔(如果没有数据写入) (0 = 不自动关闭)

hdfs.batchSize

100

每次写入 HDFS前读取的events数量

hdfs.codeC

–

压缩成以下格式之一: gzip, bzip2, lzo, lzop, snappy

hdfs.fileType

SequenceFile

当前序列化格式，有以下三种： SequenceFile, DataStream or CompressedStream (1)DataStream 不能设置 codeC (2)CompressedStream 需要设置 hdfs.codeC

hdfs.maxOpenFiles

5000

允许同时打开文件的最大数量。如果超过这个数字，则关闭最旧的文件。

hdfs.minBlockReplicas

–

指定每个HDFS块的最小副本数。如果没有指定，它来自类路径中的默认Hadoop配置.

hdfs.writeFormat

–

writeFormat格式. 有以下两种： “Text” ， “Writable” (默认).

hdfs.callTimeout

10000

HDFS打开、写入、刷新、关闭操作允许的最大毫秒数。 如果发生许多HDFS超时操作，则应增加此数值。

hdfs.threadsPoolSize

10

HDFS操作的线程池数量

hdfs.round

false

时间戳是否应该四舍五入 (如果为true, 时间戳会向下取时间)

hdfs.roundValue

1

四舍五入到它的最高倍数hdfs.roundUnit), 比当前时间更小

hdfs.roundUnit

second

四舍五入的数值 - second, minute or hour.

Hive sink

Name

默认值

描述

channel

–

type

–

组件名称，必须为 hive

hive.metastore

–

Hive metastore 的路径 (例如 thrift://a.b.com:9083 )

hive.database

–

Hive database

hive.table

–

Hive 表名

hive.partition

–

‘，’分隔分区值列表，标识要写入的分区。 例如: 如果表的分区为 (continent: string, country :string, time : string) 那么 ‘Asia,India,2014-02-26-01-21’ 将会被解释为 continent=Asia,country=India,time=2014-02-26-01-21

batchSize

15000

单个Hive事务中能写入的最大event数量

Logger sink

配置项名称

默认值

描述

channel

–

type

–

组件名称，必须为 logger

Avro Sink

配置项名称

默认值

描述

channel

–

type

–

组件名称，必须为 avro.

hostname

–

需要绑定的主机或IP地址

port

–

监听的端口号

batch-size

100

一次性发送的最大events数量

connect-timeout

20000

允许第一次(连接)请求的时间(ms).

Thrift Sink

配置项名称

默认值

描述

channel

–

type

–

组件名称，必须为 thrift.

hostname

–

需要绑定的主机或IP地址

port

–

监听的端口号

batch-size

100

一次性发送的最大events数量

connect-timeout

20000

允许第一次(连接)请求的时间(ms).

HBase Sink

配置项名称

默认值

描述

channel

–

type

–

组件名称，必须为 hbase

table

–

需要写入到Hbase的表名

columnFamily

–

Hbase的列族

zookeeperQuorum

–

quorum 配置. 这个配置的值为 hbase.zookeeper.quorum它在 hbase-site.xml文件中