読者です 読者をやめる 読者になる 読者になる

@thorikiriのてょりっき

@thorikiriがWebとかAndroidとかの技術ネタや本を読んだブログです

fluentdのELBログプラグインfluent-plugin-elb-logでProxyの壁を超える。

fluentd

DockerでFluentd+Elasticsearch+Kibanaをやっています。

ローカルで色々試してからAWSにでもあげようかなと思ってやっているのですが、ローカルには超えなくてはいけない壁、つまりProxyがあるので非常にやっかいです。

今回はAWSのELBのログをS3に出力しているので、このELBログをFluentdでElasticsearchに流しこむってことをやっています。使うのは、fluent-plugin-elb-logというプラグインになります。

github.com

基本的な使い方とかは、ELBのアクセスログをfluent-plugin-elb-logを使ってkibanaで表示する | Developers.IO などを見れば良いと思います。

 

今回はProxy環境下で使いたいよ!という時の話です。

<source>
  type elb_log
  tag elb.access
  access_key_id     YOUR_AWS_ACCESS_KEY_ID
  secret_access_key YOUR_AWS_SECRET_ACCESS_KEY
  s3_endpoint       s3.amazonaws.com
  s3_bucketname     YOUR_S3_BUCKET_NAME
  s3_prefix         YOUR_S3_DIR_PREFIX_NAME
  timestamp_file    /tmp/elb_last_at.dat
  refresh_interval  300
  proxy_uri http://proxy.exambple.com:8080/
  buf_file /tmp/fluentd_elb_log_buf_file
</source>

のようにproxy_uriでProxyを指定することで、壁を乗り越えられました。

と言うよりも、乗り越えられるように修正してプルリクして、取り込んでもらえました。