Fluentd直接传输日志给MongoDB副本集 (replset)
阅读原文时间:2023年07月09日阅读:3

官方文档地址:https://docs.fluentd.org/output/mongo_replset

td-agent版本默认没有包含out_mongo插件,需要安装这个插件才能使用

使用的是td-agent,安装这个插件:

$ /usr/sbin/td-agent-gem install gems
$ /usr/sbin/td-agent-gem install fluent-plugin-mongo

使用的是Fluentd,安装这个插件:

$ fluent-gem install fluent-plugin-mongo

有关插件管理可以看这篇文章,地址:https://www.cnblogs.com/sanduzxcvbnm/p/13936280.html

配置示例

# Single MongoDB
<match mongo.**>
  @type mongo_replset
  database fluentd
  collection test
  nodes localhost:27017,localhost:27018,localhost:27019

  # The name of the replica set
  replica_set myapp

  <buffer>
    # flush
    flush_interval 10s
  </buffer>
</match>

参数说明

  • @type:必填mongo_replset
  • nodes:必填,MongoDB的URI连接字符串,类型是string,举例:host1:27017,host2:27017,host3:27017
  • database:必填,MongoDB数据库,类型是string,默认是nil
  • collection:必填,集合名称,类型是string,如果没有设置tag_mapped则默认是'untagged' ,但是实际没有用到
  • tag_mapped:是否允许out_mongo使用Fluentd的标记来确定目标集合,类型是bool,默认是false
  • capped:启用capped集合,类型是string
  • capped_size:上限集合大小,类型是size
  • user:用于身份验证的用户名,类型是string
  • password:用于身份验证的密码,类型是string
  • replica_set:必填,mongodb副本集标识
  • read:副本集读取首选项,类型是string,默认是nil
  • num_retries:复制集故障转移阈值。默认阈值为60。如果重试计数达到此阈值,则插件将引发异常。类型是integer,默认60

connection_string参数官方文档上是必填,但是实际使用的时候没找到这个咋用的,官方示例上也没有用这个

如果没有配置tag_mapped,则说使用配置文件中的中的database(数据库)+collection(集合/表)

如下这个示例,正常情况下是fluentd+misc,但是设置了tag_mapped,tag是mongo.foo,又因为设置了remove_tag_prefix,去掉了mongo.,只保留了foo,最终使用得是fluentd+foo

<match mongo.*>
  @type mongo_replset
  database fluentd
  nodes localhost:27017,localhost:27018,localhost:27019

  # Set 'tag_mapped' if you want to use tag mapped mode.
  tag_mapped

  # If the tag is "mongo.foo", then the prefix "mongo." is removed.
  # The inserted collection name is "foo".
  remove_tag_prefix mongo.

  # This configuration is used if the tag is not found. The default is 'untagged'.
  collection misc
</match>

用法示例

mongodb副本集安装参考:https://www.cnblogs.com/sanduzxcvbnm/p/13937264.html

这个示例设置tag_mapped了,最终的是fluentd+nginx

<source>
  @type tail
  @id input_tail
  <parse>
    @type nginx
  </parse>
  path /usr/local/openresty/nginx/logs/host.access.log
  tag mongo.nginx
</source>

<match mongo.nginx>
  @type mongo_replset
  database mongo
  collection test # 设置了tag_mapped,这个就不生效了
  nodes 192.168.0.253:27027,192.168.0.253:27028,192.168.0.253:27029

  user mongo # 事先创建好的数据库
  password 12345

  replica_set rs0 # 创建副本集时使用的副本集标识
  tag_mapped

  remove_tag_prefix mongo.

  capped
  capped_size 1024m

  <buffer>
    flush_interval 10s
  </buffer>
</match>

启动openresty,浏览器访问,然后使用Navicat查看数据

手机扫一扫

移动阅读更方便

阿里云服务器
腾讯云服务器
七牛云服务器

你可能感兴趣的文章