Pinterestの急成長を支えてきたアーキテクチャとは？ Pythonで開発しAmazonクラウドで運用
Pinterestの急成長を支えてきたアーキテクチャとは？ Pythonで開発しAmazonクラウドで運用 急速に人気が急上昇するWebサービスでは、どのようにスケールするアーキテクチャを構築し運用していくのかはサービスの成否を分けるほど重要です。Pinterestのように急成長してきたサービスのソフトウェア構成やリソース構成はどうなっているのでしょうか、Web上でいくつか情報が公開されているのでまとめてみました。 Pythonで開発し、Amazonクラウドで運用 1年ほど前なので少し古い情報ではあるのですが、Q&AサイトのQuoraにPinterestのco-founder Paul Sciarra氏が書き込んだソフトウェア構成の説明があります。 PinterestはPythonで開発されており、MemcachedやNginxなど高速なレスポンスに配慮した構成になっている様子がうかがえま
リアルタイム通知システムの舞台裏 - YAPC::Asia Tokyo 2012 [SEPTEMBER 27,28 & 29th]
TwitterのUserStreamsや、facebookのいいね！の通知など、リアルタイムでユーザーにイベントや更新内容を通知する仕組みはすでに一般的なものとなりました。 しかし、作る側を考えてみると、ユーザーごとに異なるコンテンツをリアルタイムに、しかもスケーラブルに配信する仕組みはそう単純ではありません。 このトークでは、リアルタイム通知の舞台裏として、某スマートフォン向けメッセンジャーアプリの裏側を紹介します。
RabbitMQ(2.8向け)のHAクラスタ構成
RabbitMQ Highly Available Queues and Clustering using Amazon EC2 という AWS 環境での RabbitMQ クラスタ構築に関する面白い記事を見かけた。 知識の再確認のため、以下をメモ。 RabbitMQ のクラスタの構築 HA:Active-Standby(Shared Nothing) HA:Active-Standby(Shared Storage) HA:Active-Active(Mirrored Queue) RabbitMQ のクラスタリングの特徴 Erlang/OTPの 分散フレームワークをベースにしている。 ノード間でCookie(/var/lib/rabbitmq/.erlang.cookie)を同じにする ノード名(デフォルトはホスト名)をクラスタ間で重複しないようにする キューのメタ情報とキューが管理さ
RabbitMQ Performance Measurements, part 2 | RabbitMQ
Welcome back! Last time we talked about flow control and latency; today let's talk about how different features affect the performance we see. Here are some simple scenarios. As before, they're all variations on the theme of one publisher and one consumer publishing as fast as they can. Some Simple Scenarios This first scenario is the simplest - just one producer and one consumer. So we have a ba
A quick message queue benchmark: ActiveMQ, RabbitMQ, HornetQ, QPID, Apollo... - Muriel's Tech Blog
Lately I performed a message queue benchmark, comparing several queuing frameworks (RabbitMQ, ActiveMQ…). Those benchmarks are part of a complete study conducted by Adina Mihailescu, and everything was presented at the April 2013 riviera.rb meet-up. You should definitely peek into Adina’s great presentation available online right here. Setup and scenarios So I wanted to benchmark brokers, using d
クラウド技術を活用したリアルタイム広告 Logicad の入札・配信・ログ解析 #awssummit
AWS Summit Tokyo 2013 にて発表した資料です。 http://www.awssummittokyo.com/ 『クラウド技術を活用したリアルタイム広告 "Logicad" の入札・配信・ログ解析』 近年のインターネット広告では、複数の広告会社が1ページビュー毎に0.1秒間のオークションに参加して広告を配信するリアルタイムビッディングという取引が行われ、日本国内でも取引が1秒間に数万件以上に及びます。 このようななか、弊社もDSP「Logicad」にて参画し、最適な広告を高速に処理して配信するため、オンプレミスサーバーと AWS を Direct Connect で組み合わせてシステムを構築しています。 またオークション取引や広告配信における大量ログをRabbitMQ で処理しAmazonS3、EMR、DynamoDB等を活用して分析しています。 本セッションでは、リアル
task.delayからへんじがない。ただのしかばねのようだ(Celery+RabbitMQ) - Study08.net 対シンバシ殲滅用人型機動兵器
とある開発環境でCelery + RabbitMQを動かしてたら、いつのまにかtask.delay()が息をしてないというかハングアップしてる感じになった時の調査と対処のメモ 環境 Debian squeeze RabbitMQ 3.1.3 (apt-getでinstall) 現象 DjangoアプリからCelelyのtask.delayでジョブを実行してるけど処理された気配がない 特にアプリ、Celery、RabbitMQで目立ったエラーは出ていない Celery起動時にRabbitMQの接続は出来てるというログは出てる [2013-07-25 16:08:55,270: WARNING/MainProcess] celery@hogehoge ready. [2013-07-25 16:08:55,284: INFO/MainProcess] consumer: Connected t
Classic Queue Mirroring | RabbitMQ
This guide covers a feature that had been deprecated since 2021 and was removed completely for the next major series, RabbitMQ 4.x. Quorum queues and/or streams should be used instead of mirrored classic queues. Non-replicated classic queues continue being supported and developed. Wait, There's a Better Way: Modern Replicated Queue Type and Streams This guide covers a deprecated and scheduled for
Clustering Guide | RabbitMQ
Overview This guide covers fundamental topics related to RabbitMQ clustering: How RabbitMQ nodes are identified: node names Requirements for clustering What data is and isn't replicated between cluster nodes What clustering means for clients How clusters are formed How nodes authenticate to each other (and with CLI tools) Why it's important to use an odd number of nodes and two-cluster nodes are
RabbitMQ 3.1の導入とCluster構成を検証する
RabbitMQ 3.1の導入と冗長化の検証をしたのでメモ。 検証のための構成はフロントのAPサーバー、RabbitMQが動作するキューサーバー、ワーカーそれぞれ二台づつ。キューサーバーが片方死んでも全体が動作し続けられる事、両方がダウンしたとしてもデータは損失しない事が確認できれば良い。要するに単一障害点にならないようにRabbitMQを使いたい。 サーバーの準備 仮想マシン6台はVagrantを使えば一発で用意できる、メモリ16GB積んでてよかった。ホスト名を後でいじるとrabbitmqctlで停止・再起動がうまくいかなくなった。ホスト名周りはEC2で使う時に面倒な事になりそうだ。 各サーバーの /etc/hosts にrabbit1とrabbit2は追加しておく。 RabbitMQ 3.1 のインストール 起動確認 vagrant@rabbit1:~$ sudo rabbitmq-s
iOS開発でのユニットテストを身につけるには
テストがないコードはクソとか、このテストツールこそ至高みたいな話が世に溢れているわけですが、 そういう状況になってくると、どうやって始めたらいいのかわからなかったりすると思います。 そういう人のために、何を読んで勉強し、何を使って何を書くと始めやすいかという抽象的な解説をしようと思います。 テストフレームワークの選択 テスト初心者の最初の壁はフレームワークの選択です。 iOSのテストについて調べると、SenTestingKitはクソとかGHUnit最高とかKiwiこそ至高とか言っている人がいると思います。 ですが、入門に最も適しているのはSenTestingKitです。 セットアップが他と比べて簡単だということと、機能が十分に小さくて機能に溺れることがないということが理由です。 SenTestingKitの使い方を学ぶ いきなり突き放すようなんですが、Appleの公式のドキュメントを読むの
フラッシュカードアプリ “Anki” で勉強が捗る | コーヒーサーバは香炉である
« [Mac OS X] Spotlightで見つけたファイルの1個上のフォルダを開く フラッシュカードアプリ “Anki” で勉強が捗る Ankiというアプリが気に入っている。その名の通り、暗記するためのアプリである。表に問題を、裏面に答えを書いたカードと、それを束ねた「デッキ」を作成し、勉強するというものだ。 こう書くと「なんだありがちなアプリじゃないか」と思われるかもしれないし、実際フラッシュカードを作成・学習できるソフトは多数ある。今までに色々使ってきたが、Ankiはそれらの中でもとびきりすばらしい。Ankiのどこがいいのかというと デッキの管理がしやすい 画像や音声の埋め込み、TeX記法、HTML記法などでリッチなカードが作れる とても賢く学習スケジュールを組んでくれる ←これが一番ありがたい 学習成果がグラフで見られる 「先送り」のやり方が非常に柔軟 アカウントを作れば
Apache Sparkってどんなものか見てみる（その１ - 夢とガラクタの集積場
こんにちは。 Kafkaを試している最中で微妙ですが、最近使えるのかなぁ、と情報を集めているのが「Apache Spark」です。 MapReduceと同じく分散並行処理を行う基盤なのですが、MapReduceよりも数十倍速いとかの情報があります。 ・・・んな阿呆な、とも思ったのですが、内部で保持しているRDDという仕組みが面白いこともあり、 とりあえず資料や論文を読んでみることにしました。 まず見てみた資料は「Overview of Spark」（http://spark.incubator.apache.org/talks/overview.pdf）です。 というわけで、読んだ結果をまとめてみます。 Sparkとは？ 高速でインタラクティブな言語統合クラスタコンピューティング基盤 Sparkプロジェクトのゴールは？ 以下の2つの解析ユースケースにより適合するようMapReduceを拡張
BtoBとBtoCの技術が逆転する時代
アーキテクチャもWeb系オンリーで偏見満載で語ってるみる。 ここ10年のBtoBの成果は、共通の技術基盤という妄想のために用意された 複雑大規模で、完全に閉じてて、他には誰も使えないEclipseで動く謎のゴミ。 JavaっぽいJavaっぽいJavaっぽい何かで 自分達でも持て余して、パッケージ導入とか、結局Strutsスクラッチ開発だったね。 まあ、商売ネタとしては成立してたけど。 Struts1のサポートが切れる蓋を開けた時の状況は、笑いどころか失笑でした。 だからってBtoCも凄かったわけじゃない。 やすいはやいゴミを量産する方向にシフトした。 PHPとかPHPとかPHPとかで そこで事件が起きる。Railsの登場。 ビジネス的には、あんまりインパクトはなかったこれだが、歴史の転換を説明するのには便利。 Railsのアーキテクチャは、エンタープライズのアーキテクチャパターンを程よい感
mruby版MessagePackを利用して著しい性能向上を果たしたmruby-fluent-logger v0.0.2をリリースしました - Y-Ken Studio
mruby-fluent-logger (別名 fluent-logger-mruby) のv0.0.2をリリースしました。 今回の目玉は、シリアライズエンジンの変更です。 これまでのJSONから、suzukazeさんにより移植されたmruby-msgpackへ切り替えることで、パフォーマンスが向上しています。 https://github.com/y-ken/fluent-logger-mruby https://github.com/y-ken/fluent-logger-mruby/releases/tag/v0.0.2 ログ収集エンジンFluentdをmrubyから利用するためのロガーパッケージ「mruby-fluent-logger」のmsgpack対応版をリリースしました。jsonに比べて著しい性能向上を果たしています。 https://t.co/kzi9YPBRFI #mru
データビジュアライゼーション・ツール20選 – lab.sugimototatsuo.com
この記事はThe top 20 data visualisation toolsの原著者許諾済みの日本語訳です。 By Brian Suda on September 17, 2012 Translated by Tatsuo Sugimoto 2014年4月28日更新：オリジナル記事が以前のサイトから移転したため発生していた画像の非表示に対応しました。 わたしがもっともよくきかれる質問のひとつが、データビジュアライゼーションを始める方法についてです。このブログの先へ進むには、練習し、さらに実践し、利用できるツールを理解する必要があります。この記事では、シンプルなチャートから複雑なグラフ、地図、インフォグラフィックスまで、ビジュアライゼーションを作成するための20種類のツールを紹介しようとおもいます。ほとんどのツールは無料で利用でき、そのうちいくつかはすでにインストール済みかもしれません。
アイフル web即日窓ロ｜アイフル web即日窓ロは最短25分で融資のアイフルWEB完結申込ページです。
今、アイフルがすごい人気です。 CMであれだけ流れてれば当たり前だろって思う方もいるかもしれませんが、アイフルが人気なのは知名度があるからだけではなく、そのサービス内容が充実しているからです。 ▶アイフルWEB完結申込ページ
Pythonコードのプロファイリング - shkh's blog
普段、Pythonのコードは何となく速かろうという、言ってみれば勘で書いているのだけど、その勘とやらは往々にしてウンコードを生むものである。そこで、プロファイラを使っていきたいと思う。 使えそうなツール そういうわけで、いくつか使えそうなツールをリストアップした。 経過時間のプロファイラ ツール名 メモ profile ビルトイン, ピュアPythonの決定論的プロファイラ cProfile ビルトイン, C拡張の決定論的プロファイラ line_profiler 行単位の決定論的プロファイラ Plop 統計的プロファイラ, Dropboxの人が作ってる statprof 統計的プロファイラ, 開発停止？ yep 拡張モジュール用の統計的プロファイラ, バックエンドにgoogle-perftools メモリのプロファイラ ツール名 メモ memory_profiler 行単位でメモリ消費量の
【ラブライブ！】スクフェスの浴衣姿のμ'sメンバーが可愛すぎて生きてるのが辛い｜オタクニュース
【ラブライブ！】スクフェスの浴衣姿のμ'sメンバーが可愛すぎて生きてるのが辛い 2013年09月01日ゲーム 0 Tweet ラブライブ！ 1 ：匿名 13/09/01(日)16:50:19 ID：5dzMc5AfE スクフェスの浴衣姿のμ'sメンバーが可愛すぎて生きてるのが辛い 2 ：匿名 13/09/01(日)16:51:02 ID：oKc8iJ0aQ 素晴らしい！ 3 ：匿名 13/09/01(日)16:52:05 ID：PRXsFxCx. UR海未ちゃんの破壊力パネェな 4 ：匿名 13/09/01(日)16:55:37 ID：fGvE3HKKQ 浴衣姿カワイすぎだろ これ外国人に見せたら浴衣ブームくるわ（確信） 7 ：匿名 13/09/01(日)17:01:29 ID：1k/wTluCM >>4 カードがウチにそう告げるんですね わかります 5 ：匿名 13/09/01
やる気を出すシステム5000ユーザ突破記念エントリー - 西尾泰和のはてなダイアリー
ひっそりと運用していた質問に答えるとやる気を出すためのアドバイスをしてくれるシステムがつい先日で5000ユーザーを突破しました。このシステムのおかげでやる気が出たという方も2000人いるようで、作ったかいがあったというものです。 ところでこのシステムは、用意した回答の中から適切なものが見つけられなかった場合に「なぜやる気がでないのだと思いますか？」と自由記述で問いかけて、あらためて自分の気持ちを見つめてもらうというのをやっています。これだけデータが集まってくると、この自由記述の中にも共通のパターンが見えてきます。そこで、5000ユーザ突破記念ということでいくつかピックアップして解説します。 自虐的レッテル貼り 「なぜやる気がでないのだと思いますか？」という質問に対して「ぐーたらだから」「クズだから」「怠け者だから」「ダメ人間だから」「いつまでたっても一人前の仕事ができないから」という種の回
SIerを退職しました - ギークに憧れて
※本エントリは､自分の気持ちを整理するという事と､同じ様なやりきれない気持ちを抱えている人達に対して､何かのきっかけになればいいなと思い書きました｡自分の不満の憂さ晴らしでもなければ､SIerで働く人達を否定するものでもありません(そんな低俗な事をするつもりは毛頭無いです…)｡自分が現状の業界構造に疑問を覚えたのは事実ですが､それでもその中で正しい道を進もうと頑張る人達を心から尊敬しています｡ 2013年8月31日を持って､新卒で就職したSIerを退職しました｡ 2012年4月に入社してから約1年半､社会人としてのマナーやプログラマとしての基礎を教えて頂きました｡ 関係者の皆様､大変お世話になりました｡ 退職を決めた理由ですが､これといった契機があったわけではありません｡ 強いて言えば､下記の様な問題を考え続けた結果､転職という選択肢が自分にとって最善であると感じたという事です｡ 業界の方
次世代のKIF(2.0.0)が良さそう
KIFはSquare製のIntegration Testsのためのフレームワークです。 この半年くらいでKIFは大幅なアップデートに取り組んでいるらしく、現在はプレリリース版の2.0.0pre5が公開されています。 まだ正式版はリリースされていないのですが、ひとまずプレリリース版を動かしてみました。 KIF(kif-next) KIFは元々GHUnitのようにアプリのビルドターゲットを複製し、エントリーポイントを少し変更することで複製したアプリ上でテストを走らせるというものでした。 新しいバージョンではSenTestingKitを利用することでXcodeに統合されたテストとして実行できるようになりました。 具体的には以下のようなメリットがあります。 command+Uで実行できる エラーが出た箇所を追跡しやすい 部分実行ができる xUnit/xSpec形式でテストを書ける SenTesti
Rで計量時系列分析～CRANパッケージ総ざらい～
2. 一応、自己紹介を… 尾崎 隆 (Takashi J. OZAKI, Ph.D.) “J”に深い意味はありません 学者だった頃に同業界にT. Ozakiさんがいたので と思ってJをつけたら、別業界にT. J. Ozakiさんが… 2013/8/31 2 4. 一応、自己紹介を… こういうキャリアをたどっております 1997～2001年 東京大学工学部計数工学科 （※情報工学系） 2001～2006年 東京大学大学院新領域創成科学研究科 修士＆博士課程（脳科学） 2006～2011年 理化学研究所脳科学総合研究センター 研究員（脳科学） 2011～2012年 東京大学教養学部 特任研究員（心理学） 2012年4月 慶應義塾大学医学部 特任助教（産学連携） ※30代のうちにポスドク問題を乗り切ることは 事実上不可能と判断して、キャリアチェンジに 打って出る
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://dl.dropboxusercontent.com/u/69610148/study/yapc2012/YAPC_2012%20.pdf
GitHub - rabbitmq/rabbitmq-consistent-hash-exchange: RabbitMQ Consistent Hash Exchange Type
iOS Practice — ios-practice 0.1 documentation
Linux Kernel Updates の Kindle 版が出ました！
Scala による自然言語処理
加藤茶『ハマっているもの！』
今年のKDDベストペーパーを実装・公開しました
やる気の出るアドバイス