AutoScalingやインスタンス障害に強い 〜Stateless Serverパターン〜 - プログラマでありたい
CDP Advent Calendar 2013 の14日目です。主に動的なWeb/アプリケーションサーバの話ですが、AutoScaling時や障害発生時に影響なく処理を継続するにはセッションの保持方法に一工夫必要です。またログなどもローカルに保存すると後々面倒くさいです。その辺りを解決するには、サーバの状態（セッション・ログ・etc）を外出しするのが一番です。名前を付けるとしたら、「Stateless Serverパターン」です。昨今のImmutable Infrastructureの概念にも影響を受けています。 1 解決したい課題 AutoScalingを利用すると、負荷の増減に応じてサーバの増減が出来る。しかし、動的サーバの場合はセッションサーバを個々のサーバに保持していると、サーバが増減して別のサーバに振り分けられた場合セッション維持が出来ずに問題が生じる。また負荷が下がってサーバ
広告ログ解析基盤にFluentdを使っている話 - すずけんメモ
これはFluentd Advent Calendar 14日目の記事です。 私は現在、VOYAGE GROUPの子会社であるadingoで、DMP cosmiの開発をしています。今日はcosmiでのfluentd利用の話をしようと思います。 DMPについて 過去に勉強会でアドテクまわり及びDMPについて話したのでそれを貼っておきます。ざっというと、いい感じにいろんなログを受けいられるようにして、それらをモニタリングしながら整理して使えるようにする、という役割をもったプロダクトです。 Head First Ad Technology and DMP http://www.slideshare.net/suzuken/head-first-ad-technology-and-dmp どこで使っているか ほぼ全てです。構成としては ログ収集サーバ | | out-forward (roundro
Fluentd Casual Talks #3 でChefの話をしてきました #fluentdcasual · さよならインターネット
December 14, 2013 Fluentd Casual Talks #3 で話してきました 会場をご提供頂いたDeNAさん、主催者の@tagomorisさん、ありがとうございました。 スライドはこちらです。 設定が増えてくるとtd-agent.conf自体が肥えてきます。 その場合、include config.d/hoge.confというように 機能別に設定ファイルを分けることで、人間が管理できるようになります。 設定ファイルについては、必要な設定だけを人間が行って ファイルの設置などについては、Chefに行ってもらうのが良いです。 Chefの設定方法についてはスライドを見てもらうとなんとなくわかるかなと思います。 ポイントはinclude_recipeを利用して、Chefのrecipe自体も分割するところです。 chef/site-cookbook/td-agent/reci
Fluentd Casual Talks3に参加してきました #fluentdcasual - 月曜日までに考えておきます
12/13（金）にDeNA@渋谷ヒカリエで行われたFluentd Casual Talks#3に参加してきました。 なんとかCasualというとガチュアルと呼ばれるこわい勉強会もあるという話を聞いたことがありますが、今回のはそんなことはなく自分のレベルでも便利情報満載でとても良い勉強会でした。 主催の@tagomorisさんもBlogエントリ書くの超オススメと最初におっしゃっていたので参加レポート書いてみます。 fluent-plugin-norikra by @tagomoris さん 資料 fluent-plugin-norikra #fluentdcasual 今年春のRubyKaigiのときにNorikraの話を聞いて、そのときは自分はFluentdを使っていなかったのであまり効果がよくわからなかったのですが、実際にFluentd知ってから改めて聞くとStreamにSQLクエリを投
Treasure Agent Monitoring Service (ベータ)
1. Board Meeting Treasure Agent Presentation Monitoring Service August 15th, 2013 - 3:30PM PDT Presented by Hironobu Yoshikawa – CEO Kazuki Ohta – CTO Rich Ghiossi – VP, Marketing Keith Goldstein – VP, Sales Kengo Hirouchi – Director, Japan Ankush Rustagi – Director, Marketing Founder & CTO 太田 一樹 @kzk_mover <k@treasure-data.com> www.treasuredata.com Copyright 2013 2. 会社概要 チーム概要 2011年12月創業、米国カリフォルニ
Monitoring Fluentd | Fluentd
This article desribes how to monitor Fluentd. Table of Contents Fluentd Metrics Monitoring Process Monitoring Port Monitoring Debug Port Fluentd Metrics Monitoring Fluentd can expose internal metrics via REST API, and works with monitoring tools such as Prometheus, Datadog, etc. Our recommendation is to use Prometheus, since we will be collaborating more in the future under the CNCF (Cloud Native
What's new in v11 - Fluentd Casual Talks #3 #fluentdcasual
Fluentd version 11 includes several new features and improvements including non-stop restart capability, support for multiprocess architecture with separate worker processes, dedicated error stream handling, improved plugin version management, ability to set log levels for individual plugins, use of variables in configuration files, and streaming processing without needing to modify record tags.Re
Alternative Fluentd implementation in Go
http://github.com/moriyoshi/ik
Go言語を含む複数種類の言語により実装されたソフトウェアのベンチマーク - Qiita
本稿では、Goを含む複数種類の言語により実装されたソフトウェア(具体的には、シャドウプロキシサーバ)のベンチマークを行うことで、各言語間の差異について考察します。 シャドウプロキシサーバとは？ Webアプリケーションのテストをいくら入念に整備したとしても、実際に起こり得るすべての可能性を網羅することは難しいのはもちろん、同じコードを複数の環境(言語やフレームワーク、ミドルウェア等のバージョン)で同じように動作することを保証するのは至難の業です。そこで、ユーザの実リクエストを複製して、稼働中の環境とは別に用意したテスト用の環境にもリクエストを送ることで検証をするというアプローチがとられます。そのために使われるツールのことを、シャドウプロキシサーバ(shadow proxy server)と呼びます。 最近では、気軽なMySQLバージョンアップ - まめ畑において、MySQLのバージョンアップ
MySQL の SQL エスケープ - tmtms のメモ
この記事は MySQL Casual Advent Calendar 2013 の15日目の記事です。 今、空前の SQL エスケープブームみたいなので、このビッグウェーブに乗っかってみます。 でも面倒なのでセキュリティについての話はしません。カジュアル！ 文字列リテラルとエスケープ MySQL では SQL 中の文字列リテラルは次のように表現します。 'abc' -- シングルクォートで括る "abc" -- ダブルクォートで括る 0x616263 -- 16進数 x'616263' -- 16進数 0b011000010110001001100011 -- 2進数 b'011000010110001001100011' -- 2進数 各表記で charset を指定することができます _utf8 'abc' _utf8 "abc" _utf8 0x616263 _utf8 x'6162
Red Hat Enterprise Linux 7 BetaにおけるMariaDB 5.5の構成 - SH2の日記
MySQL Casual Advent Calendar 2013の14日目です。 2013年12月11日にRed Hat Enterprise Linux 7 Betaがリリースされました。以前から噂されていたとおり、RHEL 7ではMySQLではなくMariaDBが採用されています。本日は、RHEL 7 BetaにおいてMariaDBがどのような構成になっているのかを簡単に確認していきたいと思います。 パッケージ構成 MariaDB関連パッケージは13個用意されています。 mariadb-bench.x86_64 : MariaDB benchmark scripts and data mariadb-devel.i686 : Files for development of MariaDB/MySQL applications mariadb-devel.x86_64 : Files
Infrastructure as Code - naoyaのはてなダイアリー
今年の3月に 入門Chef Solo - Infrastructure as Code という本を書いた。 その名の通り Chef の入門書なのだけど、このサブタイトルは "Configuration Management Tool (構成管理ツール)" でもなく "Provisioning Framework (プロビジョニングフレームワーク)" でもなく、はたまた "Automated Infrastructure (自動化されたインフラ)" でもなく、"Infrastructure as Code" にした。 この一年で Chef や Puppet にはずいぶんと注目が集まった。おそらく、AWS をはじめとするクラウドサービスがより広いユーザーに浸透したことで仮想化環境が前提になって、以前よりも頻繁にサーバーを構築し直したりする機会が増えたとかその辺がひとつ理由として挙げられると思う
Siege Home
ABOUT SIEGE Siege is an http load testing and benchmarking utility. It was designed to let web developers measure their code under duress, to see how it will stand up to load on the internet. Siege supports basic authentication, cookies, HTTP, HTTPS and FTP protocols. It lets its user hit a server with a configurable number of simulated clients. Those clients place the server “under siege.” PLATFO
siegeのインストール、設定と使い方 - memo.yomukaku.net
2011-11-25 20:10 httpサーバーの負荷試験のためにsiegeをインストール、設定し使用する方法のまとめ。 siegeとは Httpサーバーに負荷をかけるツールには、ab (apache bench)やhttperfがありますが、siegeはapache関連のツールをインストールすることなく導入可能なことや、指定した時間にわたって指定した量のリクエストを送り続けることができる等、便利な使い方ができます。 siegeの公式サイトからリンクを辿り、downloadページからソースをダウンロードします。 2011年11月時点の最新版はsiege-2.7.0.tar.gzでした。以下、siege-2.7.0のインストールします。 wget http://www.joedog.org/pub/siege/siege-2.70.tar.gz tar zxvf siege-2.70.t
ナウいツールやサービスなどのまとめ - Qiita
国内注目のWebサービスを支える言語・フレームワーク・アーキテクチャ一覧【2013年版】 をもとにナウい感じのサービスなどをまとめた。分類がおかしいかもしれないのん コード管理 ソースコードは Git で管理しているところが増えている Git GitHub GitHub Enterprise: Enterprise 向け Gitlab Gitlab Cloud Gitlab CE: オープンソース Gitlab EE: Enterprise 向け BitBucket Stash: Enterprise 向け codebreak; RhodeCode Gitorious GitPrep GitBucket GitHubクローンまとめ 無料でGitHubのような機能を実現するための候補 | Act as Professional - hiroki.jp 料金 private repositor
PHPとセキュリティの解説書12種類を読んでSQLエスケープの解説状況を調べてみた
この投稿はPHP Advent Calendar 2013の13日目の記事です。昨日は@tanakahisateruのPHPが糞言語なのはどう考えても参照をポインタだと思っているお前らが悪いでした。 現在twitterのタイムラインで、史上空前のSQLのエスケープブームが起こっています。 オレオレSQLセキュリティ教育は論理的に破綻している | yohgaki's blog 「プリペアードクエリが基本だけど、動的に SQL を組み立てる場合もあるから、そういう場合に備えてエスケープも知っておいたほうがいいかも」 - Togetterまとめ エスケープとプレースホルダをめぐる議論 - Togetterまとめ SQLインジェクション対策としてのプリペアドステートメントとエスケープについての議論 - Togetterまとめ IPAの「安全なSQLの呼び出し方」が安全になっていた | yohgak
SQLインジェクション対策に正解はない
最近、SQLインジェクションのネタが盛り上がってるようだ。下記のTogetterまとめあたりが震源地だろうか。 「プリペアードクエリが基本だけど、動的に SQL を組み立てる場合もあるから、そういう場合に備えてエスケープも知っておいたほうがいいかも」 - Togetterまとめ まとめを読んだ感想としては、「どちらの意見も間違ってはいない」というものだ。前提あるいは見方が異なるために、見解の相違が生じているだけのように思う。SQLインジェクションについては私も若干思うところがあるので意見を書いておこうと思う。 攻撃を防ぐのは難しいSQLインジェクションをはじめとするセキュリティ対策が難しいのは、ひとつでも穴があると致命的なダメージを受け得るということだ。「どうやって効率よくコードを書くか」とか「コードのメンテナンス性を高めるにはどう書くべきか」みたいな議論とは全く質が異なる議論が必要になっ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Blogger
Shadow Server on Fluentd at Fluentd Casual Talks #3