Fluentd

td-agentのプラグインインストールコマンド

インストールされているプラグイン一覧表示 /opt/td-agent/embedded/bin/fluent-gem list インストールされているプラグインのアップデート /opt/td-agent/embedded/bin/fluent-gem update fluent-plugin-xxxxx プラグインの検索方法 /opt/td-agent/embedded…

Treasure Dataのクエリメモ

Treasure DataにストアしたApacheのアクセスログを取り出すクエリのメモです。 先日投稿した記事の続きです。 DB名 testdb テーブル名 www_access ステータスコードごとの出現回数を降順で表示 td query -w -d testdb "SELECT v['code'] AS code, COUNT(1) A…

Treasure Dataのセットアップメモ

ApacheのアクセスログをTreasure Dataにストアする設定メモです。 環境 OS CentOS 6.4 Treasure Dataのアカウント登録 https://www.treasure-data.com/signup/ 上記サイトでアカウント登録を行っておきます。 td-agentインストール /etc/yum.repos.d/td.repo…

tdコマンド

Treasure Dataサービスを利用している際に使用しているtdコマンドのメモです。 DB作成 DB名 testdb td db:create testdb テーブル作成 DB名 testdb テーブル名 www_access td table:create testdb www_access DB一覧表示 td dbs テーブル一覧表示 td tables …

td-agentとFluentdの違い

前にFluentdの動作検証を行った時に、 クライアント、サーバー両方に同じtd-agentパッケージをインストールしたのですが、 Fluentdってのもあるよなーと違いは何だろうと思って調べたら以下公式FAQページに書いてありました。 td-agentはFluentdの安定版のよ…

Fluentdの動作テストを行ったメモ

Fluentdを使ってログ集約設定を試してみました。 apacheのアクセスログなどを集約して動作確認するのが普通なのかもしれませんが、 まずはクライアントとサーバー間でログが自分の環境でちゃんと送られるのか確認したかったので、 ログファイルに1行書かれる…