DynamoDB Local を Docker コンテナで動かすメモ（2） | iret.media
ども、cloudpack の かっぱ (@inokara) です。 はじめに 前回、前々回からの続きです。 室内の温度を計測して fluentd を経由してログに出力していましたが、これを DynamoDB Local に突っ込んでみるメモです。 参考 [AWSマイスターシリーズ] Amazon DynamoDB Amazon DynamoDB（初心者向け 超速マスター編）JAWSUG大阪 Dynamic ダイ○マ～ 以下のようなイメージです… fluentd プラグイン fluentd から DynamoDB にデータを送る場合には以下のような Output プラグインがありますが… fluent-plugin-dynamodb fluent-plugin-dynamodb-alt fluent-plugin-dynamodb は DynamoDB Local には対応していない（SDK
検証用にfluent-plugin-dynamodb-altを作った - so what
検証用にfluent-plugin-dynamodb-altというのを作りました。 検証用なので、RubyGems.orgには未登録。積極的にメンテナンスする気はないです。 →諸事情により割と積極的にメンテしてます fluent-plugin-dynamodbの微妙な点 PKがかぶる BatchWriteItemでExpectedが使えない fluent-plugin-dynamodb-altの特徴 PutItemを使う Expectedを使える 並列実行できる リクエストを投げるときにPKで集約して最新のタイムスタンプのレコードだけ投げる Expectedの使い方 以下のように設定すると、 expected id NULL,time LT ${time} conditional_operator OR 次のようなExpectedになります。 { :expected=>{ "id"=>{:
nginxのログをfluentdからHDFSに送る – OpenGroove
前回のDynamoDBに引き続き、今回はfluentd経由でnginxのログをHDFSに書き込む、というのをやってみた。そのまま置き換えるだけというのもつまらないので、同じログをローカルファイル、DynamoDB、HDFSの複数箇所に書き込む設定にしてみる。紆余曲折あったが、どうにか三連休が終わる前に期待値通りになってくれた（それって…）。 実行環境は以下２つのAWSマシンと、Amazon DynamoDB。テーブルは前回で作成済み。 マシン間はすべてのポートで通信できている前提。 ログ送信元マシン：nginxが起動 ログ出力先マシン：Hadoop疑似分散環境 real worldでは複数のマシンからログを集約してそのログ集約サーバからHDFSやDBにログを送り込むことになるんだろうけど、所詮ひとりケチケチR&Dなのでそこまでやりません。 追加でやったこと。 ログ送信元マシンでwebhdf
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
