About Find out how to cook microservices with Ruby spices! This site is continuously updated collection of notes, insights and ideas about building software platforms empowered by microservices architecture using Ruby. Subscribe to RSS Feed of updates Subscribe to Email updates TL;DR install docker-machine install docker-compose create new machine with virtualbox driver deploy containers to newly

CEDEC 2015 IoT向け汎用protocol MQTTのリアルタイムゲーム通信利用と実装、そして未来へ…Drecom Co., Ltd.

昨日、ngx_mrubyのTCPロードバランシング機能に対応した記事を書きました。 hb.matsumoto-r.jp というのも、実は以下に説明するようなFluetnd+Norika+GrowthForecastを利用したスケールアウト型のシステムを簡単に作りたかったからです。 ということで、まずはプロトタイプ設計みたいなものをフワっと考えてみました。 実現したい事 まずやりたいこととして、 1000台以上のサーバ群からのFluentdによるTCPデータをそれぞれの転送元サーバに紐づく任意のバックエンドサーバに振り分けたい 転送元サーバ群はそれほど増減しない バックエンドサーバをスケールアウト型に増やす場合に、転送元サーバの設定は変更したくない 転送されたログは転送先サーバ内でグラフ化されるので、任意のHTTPクライアントによって取得したい転送元サーバのグラフ画像を適切なバックエンド（F

はじめに td-agent使って最初はすこし四苦八苦しましたが、 だいぶ期間も経ってしまって忘れそうなのでタグの扱いについて自分なりにメモっておこーっていう記事です また、各プラグインの詳細は開発者の方のサイトや参考になるサイトも多数あるので ピンポイントで使った感じだけをそのままメモ 補足 そんなにテクニカルでも有用でもないカモですがこちらにメモまとめをメモっておきました →td-agent(fluentd)を本番サ―ビスで小さく使ってみたメモ－まとめ ながれ こんな感じで書いてみました 前提とか(fluent-plugin-parser) 前提 関連ディレクトリ構成 イメージ タグにhostname追加したい(fluent-plugin-config-expander) タグをjsonの中身でパターンマッチングして書き換えたい(fluent-plugin-rewrite) タグを入れ替

この記事は MySQL Casual Advent Calendar 2015 - Qiita Elasticsearch Advent Calendar 2015 - Qiita Hamee Advent Calendar 2015 - Qiita の第４日目です。 TL;DR 開発者の皆さんに、CasualにMySQLスローログを分析しもらうために、Fluentd + Elasticsearch + Kibana でMySQLスロークエリを下図のようにビジュアライズしました。（Kibana上で EXPLAIN の結果も確認できるようにしてあります） ついでに、以下の Fluentd の filter plugin を作成しました。 kikumoto/fluent-plugin-sql_fingerprint · GitHub kikumoto/fluent-plugin-mysql_e

ポール・グレアムのエッセイと和訳一覧 (originally maintained by naoya_t) Paul Grahamのエッセイ（原文）と、公開されている日本語訳のリストです。 見つけたら or 訳したら、自由に追加して下さい。複数の訳が存在する場合は全て追加してください。 How to Get New Ideas 新しいアイデアを得る方法 (lionfan) The Need to Read 読む必要性 (Shiro) Is There Such a Thing as Good Taste? 良いセンスはあるか？ (lionfan) Beyond Smart 知能を超えて (lionfan) Weird Language ヘンな言語 (Shiro) How to Work Hard 全力で働く方法 (lionfan) A Project of One's Own 自分の仕事

イベントページ: Norikra meetup #2 : ATND 僕自身はNorikra使ったことないのですが、周囲には使っている人がいて評判も良いので、他の人のユースケースも聞いてみたい、あわよくば自分とこの業務にもねじ込みたい、と思い参加してきました。期待通り、ユースケースを色々聞けて面白かったです。 今回聞いたNorikraのユースケースには、大体以下のような共通点がありそうに感じました。 ステータスコードごとの件数を集計するために使っているところが多い Norikraでの集計結果は、Fluentdを介して、他のツール（MackerelやらZabbixやら）に渡す Norikraが落ちたら落ちたで諦めるという割り切りで使う（冗長化はcold standby程度） 同じデータをデータベースにも流し込み、Norikraはあくまで速報値やアラート用に使う メモリを大量に積んだマシンを用意

最近はAzureをよくさわるんですが、AWSも引き続きホットなのでJAWS-UG Meguro #2へ行ってきました。 単に行くだけというのも面白くないので、最近いろいろ調べているストリーム処理回りについて一度整理しておこうということで、基盤と技術選択についての簡単なまとめをLTしたのでここに貼っておきます。 今更聞けないストリーム処理のあれとかこれ from Tatsuro Hisamori www.slideshare.net これから始めたい人で、よくわからないけどとにかく始めて何かしら可視化したいという人は引き続き Azure Stream Analytics をお勧めします。 次回テーマは運営のAWS SAの方に希望を言うと良いそうです。 個人的にはAWS上でのネットワーク設計とかいろんな人の話を聞いてみたいかなと思ったりします。

Norikraとは Norikraとはリアルタイム集計プロダクトです。イベントストリームに対してSQLライクな言語で処理を書くことが出来ます。 例えば、ApacheのアクセスログをNorikraに流し込み、1分あたりのアクセス数やレスポンスタイムの最大値をリアルタイムに集計することが出来ます。 Norikraの利用例は作者であるtagomorisさんのブログで紹介があります。 今回は、Norikraを使ってDoS攻撃をブロックする仕組みを作ってみました。 DoS攻撃ブロックの仕組み アクセス元はApacheのアクセスログから取得し、ログの受け渡しにはFluentdを利用しました。 ブロックの手順は以下のようになります。 アクセスログをFluentdのin_tailプラグインで取得。 Fluentdのout_norikraプラグインで、アクセスログをNorikraに流し込み。 Norikra

Vim is one of the most popular code editors used by many since Vim is found in most Unix systems (this includes Linux) it is one of the great options that programmers and system administrators tend to use. This editor is very complete and above all very versatile as it has great features that make it a great option to use. Although natively many would discard the use of Vim is because they do not

2020-07-08 Re:ゼロから始めるインフラ構築　〜はじめてのIaC・CI/CD〜 GitHub Actions CloudFormation 自動化 CI/CD IaC 新卒研修で作ったハリボテのインフラを再構築する話です。はじめてインフラのコード化とデプロイの自動化をやってみました。 Re:ゼロから始めるインフラ構築　〜はじめてのIaC・CI/CD〜 2020-07-01 ZOZOTOWNのインハウス広告運用を支援するデータと仕組みの話 BigQuery データ マーケティング 広告 本記事では、ZOZOのマーケティング部門の広告運用のインハウス化に伴って、これまで取り組んできた広告データの収集と活用、その仕組みにフォーカスして事例をご紹介します。 ZOZOTOWNのインハウス広告運用を支援するデータと仕組みの話 2020-06-29 【オンラインMeetup イベントレポート】

This article is part 2 of a series about building a high-performance web cluster powerful enough to handle 3 million requests per second. For this part of the project, you can use any web server you like. I decided to use Nginx, because it’s lightweight, reliable, and fast. Generally, a properly tuned Nginx server on Linux can handle 500,000 – 600,000 requests per second. My Nginx servers consiste

For this configuration you can use web server you like, i decided, because i work mostly with it to use nginx. Generally, properly configured nginx can handle up to 400,000 to 500,000 requests per second (clustered), most what i saw is 50,000 to 80,000 (non-clustered) requests per second and 30% CPU load, course, this was 2xIntel Xeon with HT enabled, but it can work without problem on slower mach