ApacheのアクセスログをTreasure Dataにストアする設定メモです。
環境
| OS | CentOS 6.4 |
|---|
Treasure Dataのアカウント登録
https://www.treasure-data.com/signup/
上記サイトでアカウント登録を行っておきます。
td-agentインストール
/etc/yum.repos.d/td.repo
[treasuredata] name=TreasureData baseurl=http://packages.treasure-data.com/redhat/$basearch gpgcheck=0
yum install td-agent.x86_64
アカウント初期設定
以下のコマンドでアカウント設定が出来ます。
td account -f
表示例
[root@test ~]# td account -f Enter your Treasure Data credentials. Email: Treasure Dataに登録したメールアドレスを入力します。 Password (typing will be hidden):Treasure Dataに登録したパスワードを入力します。 Authenticated successfully. Use 'td db:create <db_name>' to create a database. [root@test ~]#
DB作成
| testdb |
という名前のDBを作成します。
td db:create testdb
テーブル作成
| www_access |
という名前のテーブルを作成します。
td table:create testdb www_access
APIキーを確認
Treasure Dataへデータストアする為にAPIキーが必要なので
以下コマンドでAPIキーを確認しておきます。
td apikey
Apacheのログ挿入設定
以下の例では
| /var/log/httpd/access_log |
をTreasure Dataへ送るように設定しています。
※tailさせるログファイルはtd-agentが読み取れるようにパーミッションの設定を行っておく必要があります。
/etc/td-agent/td-agent.conf
# tail apache access_log <source> type tail path /var/log/httpd/access_log format apache tag td.testdb.www_access </source> # Treasure Data <match td.*.*> type tdlog apikey 発行されたAPIキーを入力します。 auto_create_table buffer_type file buffer_path /var/log/td-agent/buffer/td use_ssl true </match>
td-agentデーモンの起動と自動起動設定
/etc/init.d/td-agent start chkconfig td-agent on
ストアデータ確認
以下のコマンドでアクセスログ(最新5件)が表示されます。
アクセスログがストアされているか確認してみます。
td table:tail testdb www_access
データが表示されれば成功です。
