◆ AWS Billing Alert いいですね。
今日は、先日の投稿の続きです。Amazon Web Services の利用料金見積もりの機能(AWS Billing Alert) が実装されました。導入手順や Management Console の操作については、こちらをご覧下さい。
AWS Billing Alerts を使った請求金額通知と、CLIを使った金額取得 | Pocketstudio.jp log3
http://pocketstudio.jp/log3/2012/05/19/enable-aws-billing-alerts/
$248…やっちまったぜ…今月はBlu-ray買えません
これが出来ると何が嬉しいかというと、どのサービスに対して、どの程度のお金をかけているのかが、逐次確認出来る点です。EC2にいくら、RDSにいくら払ったかが分かるのは便利。Billing Alert があれば、x4.large インスタンスを立ち上げっぱなしで、悲劇を見ることはありません。（先月やらかしました。今は反省している）。
しかも、Billing Alert は、CloudWatch 経由で金額データを確認・通知ができます。CloudWatch が使えるということは…
ピコーン！ CloudWatch Command Line Tool(CLI) を使ってデータが取得できる！
↓
つまり、データが取得できれば Munin でグラフ化したら楽じゃね？
↓
という事で Munin プラグインを書いてみました（イマココ）。
画面イメージは、こんな感じ。リアルタイムなのはこちら。
Munin を使うのは他の理由もあります。理由は３つ。一つは、自分にとって普段使い慣れている監視システムである事。もう１つ、Munin 経由で通知を出せること。そして、CloudWatch のデータ保存期間は2週間だということ。過去の傾向を知るためには、データを残しておく事は必要でしょう。
◆ EstimateCharge プラグイン
書いたプラグインは二種類です。合計費用だけをグラフ化する aws_EstimatedCharges と、サービス毎にグラフ化する aws_EstimatedServices です。前者は単純に請求費用を知るため。後者は、内訳を確認するためです。
動作条件としては、Munin が必要です。あとは、CloudWatch CLI が動作する Java 1.5 以上の環境（CloudWatch CLI の導入については、先日の投稿をご覧下さい）。
ファイルは GitHub で公開しています。
zembutsu/AWS-EstimateCharge
https://github.com/zembutsu/AWS-EstimateCharge
動作はシンプルです。まずはデータを取得するスクリプトを設置します。cron で定期的に CloudWatch CLI を走らせ、金額データをファイルに保管するものです。あとは、Munin プラグインが、補完したデータを参照するという仕組み。
データ取得スクリプトを分けているのは、単純にタイムアウト対策です。また、環境によってデータ取得のタイミング(cron の実行間隔）は異なると思うので。
以下、実際にaws_EstimatedServices を有効にする場合の手順です。
まず aws_EstimatedServices.sh を適当なパスにおいて、chmod +x などで実行属性をつけておきます。設置時のパスや環境変数は、環境に応じて書き換えてください。このままでは動きません。。
#!/bin/sh
DAT=/var/lib/munin/plugin-aws-cloudwatch/EstimatedCharges_services.dat
export AWS_CLOUDWATCH_HOME=/home/zem/develop/aws/cloudwatch/CloudWatch-1.0.12.1
export PATH=$PATH:/home/zem/develop/aws/cloudwatch/CloudWatch-1.0.12.1/bin
export EC2_REGION=us-east-1
export JAVA_HOME=/usr/local/jdk1.6/
export AWS_CREDENTIAL_FILE=/home/zem/develop/aws/cloudwatch/CloudWatch-1.0.12.1/credential
start=`date --iso-8601=seconds --date '6 hour ago 1 minutes ago'`
end=`date --iso-8601=seconds --date '1 minutes ago'`
echo -n > $DAT
for METRICS in AmazonEC2 AmazonRDS AmazonS3 AmazonRoute53 AmazonSimpleDB AmazonSNS AWSDataTransfer ; do
echo -n "${METRICS}.value " >> $DAT
/home/zem/develop/aws/cloudwatch/CloudWatch-1.0.12.1/bin/mon-get-stats \
EstimatedCharges \
--statistics "Maximum" \
--namespace "AWS/Billing" \
--dimensions "ServiceName=${METRICS},Currency=USD" \
--start-time $start --end-time $end | tail -1 | cut -f4 -d' ' >> $DAT
done
“DAT” がデータ出力先のファイルです。
# mkdir /var/lib/munin/plugin-aws-cloudwatch # touch /var/lib/munin/plugin-aws-cloudwatch/EstimatedCharges_services.dat # chown -R zem:munin /var/lib/munin/plugin-aws-cloudwatch/EstimatedCharges_services.dat # chmod 755 /etc/munin/plugins/aws_EstimatedCharges
このように、ディレクトリやファイルの作成、パーミッションの設定をしておきます。
@j3tm0t0 さんからのヒント
※途中、CLI が反応なくて困っていたとき、忍者な @j3tm0t0 さんからヒントを戴きました。ありがとうございました！ mon-get-stats を使うとき、–start-time と –end-time を指定しないと、正しく出ないことがあるようです。変数 $start と $end で、妙な時間の指定をしているのは、そのため。6時間分を指定しています。
あとは、スクリプトを /usr/local/bin/ に置く場合は
$ chmod 755 /usr/local/bin/aws_EstimatedServices.sh
パーミッションを指定します。それから、コマンドを実行してエラーが出なければ大丈夫です。
$ /usr/local/bin/aws_EstimatedServices.sh
ファイルも出力されているかどうか、あわせて確認します。
# cat /var/lib/munin/plugin-aws-cloudwatch/EstimatedCharges_services.dat AmazonEC2.value 14.37 AmazonRDS.value 0.0 AmazonS3.value 0.03 AmazonRoute53.value 0.51 AmazonSimpleDB.value 0.0 AmazonSNS.value 0.0 AWSDataTransfer.value 0.02
次に cron の設定です。
$ crontab -e */15 * * * * /usr/local/bin/aws_EstimatedServices.sh
このような感じで、エントリを追加しておきます。
その次は Munin プラグイン aws_EstimatedCharges の設置です。
# touch /etc/munin/plugins/aws_EstimatedCharges # chmod 755 /etc/munin/plugins/aws_EstimatedCharges # chown munin:munin /etc/munin/plugins/aws_EstimatedCharges
ファイルを作成後は、中身を流し込みます。
#!/bin/sh
# Plugin to monitor the AWS CloudWatch metrics "EstimatedCharges" by services
# MIT License
# Mar 20, 2012
# version 0.0.1 Masahito Zembutsu (@zembutsu)
if [ "$1" = "autoconf" ]; then
echo yes
exit 0
fi
if [ "$1" = "config" ]; then
echo 'graph_title AWS EstimatedCharges by services'
echo 'graph_args --base 1000 -l 0'
echo "graph_category AWS";
echo 'graph_vlabel USD'
echo 'graph_scale no'
echo 'graph_info EstimatedCharges by services'
FIRST=1;
for METRICS in AmazonEC2 AmazonRDS AmazonS3 AmazonRoute53 AmazonSimpleDB AmazonSNS AWSDataTransfer; do
echo "${METRICS}.label ${METRICS}"
echo "${METRICS}.info EstimatedCharges service ${METRICS}"
echo "${METRICS}.type GAUGE"
if [ $FIRST -eq 1 ] ; then
echo "${METRICS}.draw AREA"
export FIRST=0;
else
echo "${METRICS}.draw STACK"
fi
done
exit 0
fi
for METRICS in AmazonEC2 AmazonRDS AmazonS3 AmazonRoute53 AmazonSimpleDB AmazonSNS AWSDataTransfer; do
echo -n "${METRICS}.value "
grep ${METRICS} /var/lib/munin/plugin-aws-cloudwatch/EstimatedCharges_services.dat | cut -f2 -d' '
done
動作テストは、実際にプラグインを実行します。
# /etc/munin/plugins/aws_EstimatedServices AmazonEC2.value 14.37 AmazonRDS.value 0.0 AmazonS3.value 0.03 AmazonRoute53.value 0.51 AmazonSimpleDB.value 0.0 AmazonSNS.value 0.0 AWSDataTransfer.value 0.02
このようにデータが表示されれば大丈夫です。
あとは、munin-node の再起動を行います。
# /etc/rc.d/init.d/munin-node restart Stopping Munin Node agents: [ OK ] Starting Munin Node: [ OK ]
再起動後は munin-node を telnet で叩いて、直接データを fetch してみます。正常であれば、次のような結果がかえります。
$ telnet localhost 4949 Trying 127.0.0.1... Connected to localhost (127.0.0.1). Escape character is '^]'. # munin node at sv.pocketstudio.jp fetch aws_EstimatedServices AmazonEC2.value 14.37 AmazonRDS.value 0.0 AmazonS3.value 0.03 AmazonRoute53.value 0.51 AmazonSimpleDB.value 0.0 AmazonSNS.value 0.0 AWSDataTransfer.value 0.02 .
あとは、Munin グラフの更新のタイミングで、データが反映されます。
個人的には「やっぱり Muniin は最高だぜ！！ Munin（ ＾ω＾）」…なので Munin を使いましたが、他の統合監視システム等々でも、同じような仕組みが出来ると思います。
それでは皆さん、素敵な AWS ライフを。
◆ 参照：
【AWS発表】 AWSクラウドの利用料金を監視・通知できるように – Amazon Web Services ブログ
http://aws.typepad.com/aws_japan/2012/05/monitor-estimated-charges-using-billing-alerts.html
Amazon CloudWatch Command Line Tool : Developer Tools : Amazon Web Services
http://aws.amazon.com/developertools/2534
AWS Billing Alerts を使った請求金額通知と、CLIを使った金額取得 | Pocketstudio.jp log3
http://pocketstudio.jp/log3/2012/05/19/enable-aws-billing-alerts/
zembutsu/AWS-EstimateCharge
https://github.com/zembutsu/AWS-EstimateCharge
