AWS Solutions Architect ブログ
AWS CodeDeployはAmazon EC2とオンプレミスのあらゆるインスタンスにソフトウェアをデプロイできます。またデプロイ中のダウンタイムを回避したり、アプリケーション・インスタンス・デプロイ・デプロイの設定を中央管理することができます。CodeDeployについてもっと知りたい方はこちらをご覧ください。このブログ投稿ではAmazon S3にアプリケーションをアップロードしたら自動的にCodeDeployのデプロイを開始する方法を紹介します。アプリケーションの新しいリビジョンがアップロードされたら可能な限り速くCodeDeployに通知するためにAWS Lambdaを使います。 AWS Lambdaはイベントに反応してコードを実行することができるコンピュートサービスです。サポートされたAWSのサービスでイベントが生成されると、そのイベントが発火するとすぐにLambdaが実行されま
既存のchef cookbookをtest-kitchen対応させていく。 - Qiita
test-kitchenかぁ... test-kitchen、 最近見ないうちに、色々と機能が追加されていた。 version 1.0.0が正式にリリースされた。 せっかくなので使ってみた。 test-kitchenとは cookbookって世にあるじゃないですか。chefというツールで使う ミドルウェアインストールのためのレシピ。 で、そのレシピがきちんと動作するのか────インストールできるのか？ そしてインストールした後きちんと動作するのか？というのを確認するため、 opscodeが作ってるツールです。 必須なソフトウェア Vagrant Ruby 既存のchef cookbookを対応させていく 今回はたまたま対応準備を進めていた、 aiming-cookbooks以下にあるchef-td-agent cookbook(TD様のリポジトリからforkしました)を使う。 test-k
fluentd(td-agent)使ってサーバ間でjsonログを転送してみる＆詳細ログも出してみるテスト - tweeeetyのぶろぐ的めも
はじめに 前回、fluentd(td-agent)を使って同一サーバ内でテストしてみたので今回はサーバ間で転送してみるテストです また、起動スクリプトを編集して詳細なログも出して確認してみます 補足 そんなにテクニカルでも有用でもないカモですがこちらにメモまとめをメモっておきました →td-agent(fluentd)を本番サ―ビスで小さく使ってみたメモ－まとめ やりたいことはこんな感じ 概要 1.webサーバではアプリケーションのログをjson形式でファイルに書き出している(log4phpとかで)。 2.それをfluentd(td-agent)でtailして、ログサーバに転送する。 3.ログサーバでは受け取ったjson形式のログを所定の場所にファイルとして書き出す。 4.それらを詳細なログを出してみてみる ※3.の部分をのちのちmongodbに入れるように変える予定 イメージ 以降の説明
fluent-plugin-bigquery の設定 - Qiita
BigQuery側で「1リクエスト500行まで」という制限があるので500とする。 500ちょうどにしておくとエラーになることがあるという情報があるので、300程度にしておくとよいかもしれない(コメント欄参照)。 buffer_chunk_limit チャンクごとの最大バイト数。 BigQuery側で「1リクエスト1MBまで」という制限があるので1000000とする。 1MBちょうどにしておくとエラーになることがあるという情報があるので、768k程度にしておくとよいかもしれない(コメント欄参照)。 buffer_queue_limit プラグイン側でいくつのチャンクをメモリに保持しておくか設定できる。 デフォルト値は1024となっている。 小さすぎるとキューが溢れてエラーとなってしまうので、メモリ量と相談して大きめの値にしておくとよい。 1チャンクの最大サイズが1MBなので、デフォルトの1
td-agent2をAmazon Linuxで実行する | DevelopersIO
ども、大瀧です。 Fluentdディストリビューション Treasure Agent(td-agent2)のAmazon Linuxに対応した最初のリリース、2.2.0が昨日公開されました。EC2でのtd-agent2のインストール方法と、td-agent2に同梱されているWebインターフェースのfluentd-uiの様子をご紹介します。 EC2(Amazon Linux)でのセットアップ手順 公式ドキュメントのインストール手順にある、"RHEL/CentOS 5,6,7"と共通です。ダウンロードされるスクリプト内でYumリポジトリファイルのインポートとtd-agentパッケージのインストールが実行されます。Amazon Linuxでは既定でec2-userユーザーでログインするため、ダウンロードしたスクリプトをsudoコマンドで実行するところに注意します。以下のコマンドを実行します。 c
FluentdでGoogle BigQueryにログを挿入してクエリを実行する - Qiita
Googleの虎の子BigQueryをFluentdユーザーが使わない理由はなくなったとのこと。 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita よし、Google BigQueryを使って超高速ログ解析だ!!!!と思っているとそこまでの道のりは長かった。 Google BigQueryの環境を構築する Google BigQueryはGoogle Cloud Platformのサービスの1つである。Google Cloud Platformには様々なサービスがあり、統合されているような、されていないような作りになっている。AWSのWebインターフェースも難しいけど、Google Cloud Platformもよくわからないので覚悟してかかろう。公式のドキュメントも記述が古いときもあるので疑ってかかろう。 プロジ
『最近の起業家に感じること』
藤田社長の最近の記事。 ベンチャーブームに浮かれる面々にモノ申す サイバー藤田晋社長が警告する｢緊張の緩み｣ http://toyokeizai.net/articles/-/65030 2000年のネットバブル前から、変化の激しいIT業界、株式市場の数々の荒波に揉まれてきただけあって、大局観からの本質的な見解はさすがです。 私も2000年から12年程彼の傍らで仕事させて頂いたので、発言の一つ一つから、関連する記憶がよみがえり個人的に味わい深い記事になっています。 さて、私も最近の起業家に「ここは少し注意した方が良いかも」と感じることがあるので書いてみます。 1.燃費の悪さ 経験豊富なシリアルアントレプレナー（連続起業家）であれば、ある事業をやったり、サービスを構築するのに適切な①人材②コスト③時間がどのくらい必要かある程度予測できます。 しかし、経験が少ない起業家が初期段階で潤沢な資金調
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
実践 Google BigQuery