ログ収集 Fluentdインストール メモ

グラフを表示してくれるツールMRTGやmuninはもう古い?ということでFluentd・Elasticsearch・Kibana InfluxDB+Grafanaを使ってログ収集ツールを構築していきます。

まずはFluentdをインストールしてみる。Fluentdは集めたログなどをInfluxDBにわたすパイプ役のログ収集ミドルウェア。ESP32などで温度・湿度などを取得してFluentdでラズパイに送ってInfluxDBに保存する。

Fluentdインストール前の下準備

取説どおりに下準備していきます。

You MUST set up your environment according to the steps below before installing Fluentd. Failing to do so will be the cause of many unnecessary problems.

時計合わせ

ここ↓でNTPで合わせた。

ファイル数の上限変更

ラズパイだと1024だったので/etc/security/limits.confで65535に変更しないといけないみたい。

rootだけ?上限を変更すればいいみたい。追加して再起動。

Fluentdインストール

確認

ここでなにやらトレースやエラーがたくさん出てきた。fluent.confはrootでしか取得できないログ設定や他の動いてないコマンドのログがたくさん書いてあるのでエラーになったもよう。

別シェルを出してテストしてみる。

以下のように表示されればちゃんと動いてる。

停止

設定ファイルを最低限にして起動してみる

fluentdを起動するとエラーになるので設定ファイル見直してテスト。

ログ保存用DBと表示

次にElasticsearchやKibanaをインストールしていきます。

ログ集めれグラフ表示するまでのツールをいろいろ入れてますが、Fluentdは入ったので、Elasticsearch・Kibanaを入れてみま...

これはうまくいかなかった。

InfluxDB+Grafanaを使うことにする。

Fluentd・Elasticsearch・Kibanaのグラフ化がうまくいかなかったので、今度はFluentd・ InfluxDB・Gra...

自動起動

rootユーザーでラズパイ起動時に起動しておく。

td-agent インストール 失敗

なんだかtd-agentをインストールするのが最近のやりかたらしいのでやってみる。結果ラズパイはarmhf に対応してないようなのでインストール失敗

This article explains how to install the td-agent deb package, the stable Fluentd distribution package maintained by Treasure Data, Inc.

ラズパイのバージョンを「lsb_release -a」で確認したらCodename「stretch」だったのでFor Debian Stretch,をダウンロードすると・・・td-agent が見つかりません・・・なんで?

よく調べてみるとarmhf は、 “arm hard float”の略でRaspbianでは対応して無いっぽい。treasure-data.listが作られるのでいったん削除。

td-agentはうまくインストールできないので、やはり上のapt-getでインストールしたfluentを使う。

参考

ども、cloudpack の 工作とか苦手なかっぱ (@inokara) です。はじめに仕事用と称して Raspberry Pi を購入したのでメモです。最終的にはセンサーデバイスから収集されるデータ...
Raspberry Pi (raspbian) に fluentd をインストールして upstart で自動起動するように設定する。 ## fluentd 事前設定 (...

シェアする

  • このエントリーをはてなブックマークに追加

フォローする