ログ収集 Fluentdインストール メモ

スポンサーリンク

グラフを表示してくれるツールMRTGやmuninはもう古い?ということでFluentd・Elasticsearch・Kibana InfluxDB+Grafanaを使ってログ収集ツールを構築していきます。

まずはFluentdをインストールしてみる。Fluentdは集めたログなどをInfluxDBにわたすパイプ役のログ収集ミドルウェア。ESP32などで温度・湿度などを取得してFluentdでラズパイに送ってInfluxDBに保存する。

Fluentdインストール前の下準備

取説どおりに下準備していきます。

https://docs.fluentd.org/v0.12/articles/before-install

時計合わせ

ここ↓でNTPで合わせた。

404 NOT FOUND | Densi
ワードプレス・エックスサーバー・PHPの取説

ファイル数の上限変更

ラズパイだと1024だったので/etc/security/limits.confで65535に変更しないといけないみたい。

rootだけ?上限を変更すればいいみたい。追加して再起動。

Fluentdインストール

確認

ここでなにやらトレースやエラーがたくさん出てきた。fluent.confはrootでしか取得できないログ設定や他の動いてないコマンドのログがたくさん書いてあるのでエラーになったもよう。

別シェルを出してテストしてみる。

以下のように表示されればちゃんと動いてる。

停止

設定ファイルを最低限にして起動してみる

fluentdを起動するとエラーになるので設定ファイル見直してテスト。

ログ保存用DBと表示

次にElasticsearchやKibanaをインストールしていきます。

Raspi 3+ Elasticsearch インストール 失敗メモ
ログ集めれグラフ表示するまでのツールをいろいろ入れてますが、Fluentdは入ったので、Elasticsearch・Kibanaを入れてみますがうまくいかなかった。

これはうまくいかなかった。

InfluxDB+Grafanaを使うことにする。

【Iot自宅環境下準備】センシングしたデータをラズパイで保存するデータベースInfluxDBの設定
自宅環境センシングの2回目の記事として今回はラズパイ(Raspberry Pi)にデータベースのInfluxDBを入れて将来的にセンシングしたデータをInfluxDB保存していきます。そして次回は、GrafanaというデータをWebで美しく

自動起動

rootユーザーでラズパイ起動時に起動しておく。

td-agent インストール 失敗

なんだかtd-agentをインストールするのが最近のやりかたらしいのでやってみる。結果ラズパイはarmhf に対応してないようなのでインストール失敗

Install by DEB Package (Debian/Ubuntu)

ラズパイのバージョンを「lsb_release -a」で確認したらCodename「stretch」だったのでFor Debian Stretch,をダウンロードすると・・・td-agent が見つかりません・・・なんで?

よく調べてみるとarmhf は、 “arm hard float”の略でRaspbianでは対応して無いっぽい。treasure-data.listが作られるのでいったん削除。

td-agentはうまくインストールできないので、やはり上のapt-getでインストールしたfluentを使う。

参考

Raspberry Pi をセットアップして fluentd をインストールするまでメモ | cloudpack.media
ども、cloudpack の 工作とか苦手なかっぱ (@inokara) です。はじめに仕事用と称して Raspberry Pi を購入したのでメモです。最終的にはセンサーデバイスから収集されるデータ...
Raspberry Pi に fluentd をインストールする - Qiita
Raspberry Pi (raspbian) に fluentd をインストールして upstart で自動起動するように設定する。 fluentd 事前設定 Fluentdインストールの前に | Fluentd に従って設定...

コメント

タイトルとURLをコピーしました