GitHub - Miserlou/Zappa: Serverless PythonYou signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Pinterest のスケール
V 先生から教えて頂いたので、Instagram 同様 Django/AWS 構成の Pinterest のスケールをメモ。Pinterest はいつものアカウント名が初めて 先取 されたサービスなので、今後使わないと思います。 本題に入る前に、Python には The Zen of Python (日本語) という思想があります。私はこの思想を Python でのプログラミングだけでなく、インフラの構築の際も意識するように心がけています。"Simple is better than complex" です。Instagram や Pinterest のスケールを見て、この思想がもっと好きになりました。 Instagram はよりシンプルなインフラに更改していくことで、ただスケールするだけでなく、運用や変更のコストも最小限になるように最適化していると思います。結果的に Android ア
Instagram のスケール正攻法 -- Kosei Kitahara's Blog
Instagram がどこに買収されたとかは他のニュースサイトにお任せして、Django アプリケーションを正攻法でスケールして "成功" してるのがとても興味深いです。現時点で Instagram Engineering で紹介されていることと TechCrunch にも掲載されたスライドから個人的なメモとしてまとめてみました。 Instagram の哲学は シンプルであること オペレーション負荷を最小化すること すべて装備 とのこと。 Instagram は以下の OSS, サービスで構築されているようです。 >>> OS / ホスティング Ubuntu Linux 11.04 を Amazon EC2 にホスティング。以前のバージョンは高トラフィックになると固まる問題があったようです。運用は 3 人。EC2 にホスティングしている理由は、調査結果によるものではなく、"まだ進化途中だか
Apache Libcloudでクラウドサービスへアクセスする | DevelopersIO
クラウド・ロックイン ユーザーにとってクラウドベンダによるロックインは、クラウドを利用する際のリスクの1つとなっています。 例えば、現在のシステムではA社のクラウドストレージを使用しているが、将来B社のクラウドストレージにするといった場合、 依存するライブラリやAPIなどを簡単に変更できるでしょうか？ ケント・ベック氏は以下のようにいっています。 「こう考えると、クラウドによるデータとアプリケーションのロックインは非常に強力なものがあります。 いちど特定のクラウドで大規模なデータの管理やアプリケーションの運用を始めたら、 ずっとそのクラウドを使うことを覚悟しなければなりません。」 （http://www.publickey1.jp/blog/09/post_27.htmlより引用） それを解消するための１つの策として、クラウドサービスを抽象化しようという取り組みがあります。 これが本日ご紹
boto: A Python interface to Amazon Web Services — boto v2.49.0
Note You are viewing the documentation for an older version of boto (boto2). Boto3, the next version of Boto, is now stable and recommended for general use. It can be used side-by-side with Boto in the same project, so it is easy to start using Boto3 in your existing projects as well as new projects. Going forward, API updates and all new feature work will be focused on Boto3. For more information
フレクトのクラウドBlog: PythonでのAmazon S3プログラミング
ちょっとした事情があり、PythonでAmazon Web Servicesを操作するプログラムを作ることになりました。PythonでAWSを操作するにはbotoがよさそうです。 PythonでAWSプログラミングの手始めにメジャーなサービスであるAmazon S3でbotoの使い方を学習してみました。 ■ botoについて botoはAWSの公式SDKではありませんが、以下のAWSのAPIに対応したライブラリです。 Simple Storage Service (S3) SimpleQueue Service (SQS) Elastic Compute Cloud (EC2) Mechanical Turk SimpleDB CloudFront CloudWatch AutoScale Elastic Load Balancer (ELB) Virtual Private Cloud
hadoopの話とpythonでデータマイニングをする話 - gumi Engineer’s Blog
gumiの粟飯原です。 データマイニングやってます。しかしながら最近はあまりデータをいじる時間がなく社内でプレゼンばかりする日々で、社内でも私がなにやってるのかわからないというもっぱらの評判。そこで今回は一応データ解析もやってはいるんだよということを内外に主張するためにもデータマイニングの話をしようと思います。 アプリの基本的な日々の統計データ取得などは別の方々はやられているので、私からはhadoopを使った大規模解析の話や、そこで得られたデータを分析する環境の話をしたいと思います。コードを併記した具体例などは今回載せられないのですが、今後また紹介していければと思います。 大規模データの解析 日々のログ解析やDB解析はcronによる処理で毎朝レポーティングを行っているのですが、新しい情報を過去のアクセスログからまとめてどかんと取得したいと言う時はHadoopによる大規模解析を実行しています
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Nubo — A command line interface to multiple cloud providers
SlideFinder -Web開発者向け日本語スライドまとめ-