読者です 読者をやめる 読者になる 読者になる

Treasure Dataのセットアップメモ

ApacheのアクセスログをTreasure Dataにストアする設定メモです。

環境
OS CentOS 6.4


Treasure Dataのアカウント登録

https://www.treasure-data.com/signup/
上記サイトでアカウント登録を行っておきます。

td-agentインストール

/etc/yum.repos.d/td.repo
[treasuredata]
name=TreasureData
baseurl=http://packages.treasure-data.com/redhat/$basearch
gpgcheck=0


yum install td-agent.x86_64


アカウント初期設定

以下のコマンドでアカウント設定が出来ます。

td account -f


表示例
[root@test ~]# td account -f
Enter your Treasure Data credentials.
Email: Treasure Dataに登録したメールアドレスを入力します。
Password (typing will be hidden):Treasure Dataに登録したパスワードを入力します。
Authenticated successfully.
Use 'td db:create <db_name>' to create a database.
[root@test ~]#


DB作成

testdb

という名前のDBを作成します。

td db:create testdb


テーブル作成

www_access

という名前のテーブルを作成します。

td table:create testdb www_access


APIキーを確認

Treasure Dataへデータストアする為にAPIキーが必要なので
以下コマンドでAPIキーを確認しておきます。

td apikey


Apacheのログ挿入設定

以下の例では

/var/log/httpd/access_log

をTreasure Dataへ送るように設定しています。
※tailさせるログファイルはtd-agentが読み取れるようにパーミッションの設定を行っておく必要があります。

/etc/td-agent/td-agent.conf
# tail apache access_log
<source>
  type tail
  path /var/log/httpd/access_log
  format apache
  tag td.testdb.www_access
</source>


# Treasure Data
<match td.*.*>
  type tdlog
  apikey 発行されたAPIキーを入力します。
  auto_create_table
  buffer_type file
  buffer_path /var/log/td-agent/buffer/td
  use_ssl true
</match>


td-agentデーモンの起動と自動起動設定

/etc/init.d/td-agent start
chkconfig td-agent on


ストアデータ確認

以下のコマンドでアクセスログ(最新5件)が表示されます。
アクセスログがストアされているか確認してみます。

td table:tail testdb www_access


データが表示されれば成功です。