fluentdのELBログプラグインfluent-plugin-elb-logでProxyの壁を超える。

DockerでFluentd＋Elasticsearch＋Kibanaをやっています。

ローカルで色々試してからAWSにでもあげようかなと思ってやっているのですが、ローカルには超えなくてはいけない壁、つまりProxyがあるので非常にやっかいです。

今回はAWSのELBのログをS3に出力しているので、このELBログをFluentdでElasticsearchに流しこむってことをやっています。使うのは、fluent-plugin-elb-logというプラグインになります。

<a href="https://github.com/shinsaka/fluent-plugin-elb-log" data-mce-href="https://github.com/shinsaka/fluent-plugin-elb-log">shinsaka/fluent-plugin-elb-log</a>github.com

基本的な使い方とかは、ELBのアクセスログをfluent-plugin-elb-logを使ってkibanaで表示する｜ Developers.IO などを見れば良いと思います。

今回はProxy環境下で使いたいよ！という時の話です。

<source>
  type elb_log
  tag elb.access
  access_key_id     YOUR_AWS_ACCESS_KEY_ID
  secret_access_key YOUR_AWS_SECRET_ACCESS_KEY
  s3_endpoint       s3.amazonaws.com
  s3_bucketname     YOUR_S3_BUCKET_NAME
  s3_prefix         YOUR_S3_DIR_PREFIX_NAME
  timestamp_file    /tmp/elb_last_at.dat
  refresh_interval  300
  proxy_uri http://proxy.exambple.com:8080/
  buf_file /tmp/fluentd_elb_log_buf_file
</source>

のようにproxy_uriでProxyを指定することで、壁を乗り越えられました。

と言うよりも、乗り越えられるように修正してプルリクして、取り込んでもらえました。