td-agent.conf

初期設定

fluentd設定ファイル
http://docs.fluentd.org/ja/articles/config-file

(1)|インプット|データ収集元

forwardtype forward
port 対象のポート番号、デフォルトは24224
bind 対象のアドレス絞り デフォルトは0.0.0.0(=すべて)

httptype http
port デフォルトは8888?9880?
bind 0.0.0.0
body_size_limit 取得限界サイズMB、デフォルトは32m(32MB)
keepalive_timeout 接続タイムアウト、デフォルトは10s(10秒)

tailtype tail
tag イベントタグ、apache.access
path テキストファイル、/var/log/httpd-access.log
format ログのフォーマット指定、apache2
pos_file 取得メモ、/var/log/td-agent/httpd-access.log.pos

nginx用に用意されているログフォーマット

exec|外部プログラムの実行
syslog|UDP上のsyslogプロトコル
scribe|Scribeプロトコル
secure_forward
unux
multiprocess

(2)|アウトプット|収集データの出力
matchパターンはイベントのフィルター
イベントのtagがパターンと合致した場合のみ出力先に送られる

myapp.accessに合致したものをaccess年月日ファイルに出力

type file
path /var/log/fluent/access.%Y-%m-%d

access.2014-01-01

myapp.log.とついているものをすべてmypp_hourly年月日時刻ファイルに出力

type file
path /var/log/fluent/myapp_hourly
time_slice_format %Y%m%d%H

myapp_hourly2014010124
デフォルトは%Y%m%d

Non-Bufferedアウトプットプラグイン
copy,null,roundrobin,stdout

Bufferedアウトプットプラグイン
exec_filter,forward,mongo

TimeSlicedアプトプットプラグイン
exec,file,s3,webhdfs

その他インプット・アウトプットプラグイン一覧
http://www.fluentd.org/plugins

Elasticsearchプラグイン
https://github.com/uken/fluent-plugin-elasticsearch

(3)Includeディレクティブ
設定ファイルを分割したときにパス、URLなどで読み込む

コメントを残す