「バックエンドの経験はなかった」Instagram創業者は、どうやってシステムをスケールさせてきたか
昨日のPinterestの記事「Pinterestの急成長を支えてきたアーキテクチャとは？ Pythonで開発しAmazonクラウドで運用」に続いて、やはり写真を中心としたサービスで急成長してきたInstagramのスケーラビリティについて、まとめてみました。 InstagramもPinterestと同様に、基本はAmazonクラウド上でPythonとフレームワークのDjangoを使ったシステムを構築しています。興味深いのは、創業者の二人ともバックエンドの経験がないなかで試行錯誤をしてシステムをスケールさせてきた点です。 Instagramは先月、Facebookに買収されると発表されています。この先、Instagramのシステムはどう変わっていくのでしょうか。 Instagramのシステム構成 約半年前、昨年12月にInstagramのブログに投稿された記事「What Powers In
Twitter Stream APIデータに対して初歩的な感情分析を試みる。 - Qiita
Twitter解析を行ううえでやってみたいことの１つとして感情分析があるのではないかと思います。（ですよね？）色々な手法があると思いますが、まずはその一番簡単な例から初めてだんだん高度に(できれば)していくというのを見ていきたいと思います。 分析対象データは今回もTwitterとします。ただ、いままではTwitter REST APIsで取得していましたが、今回はTwitter Stream APIでじゃんじゃかTwitterデータをインポートしていき、それに対して感情分析結果を数値化して合わせてデータベースに格納する、ということをやってみたいと思います。 Twitterデータをmongodbに取得する当たりの説明は以前の記事で行っていますので、よければご参照ください。 1. Twitter Stream APIからデータを取得しmongoDBに格納する。 1-1. 準備的なこと まずは下
[Python] setuptools - SumiTomohiko's blog
この記事について この記事は、setuptools - The PEAK Developer's Centerの日本語訳です。まだ途中ですが、先が長いので、ここで一旦公開します。 なお、訳者は翻訳しただけで、記事の内容については確認していません。悪しからずご了承下さい。 setuptoolsを使ったパッケージのビルドと配布 setuptoolsは、Pythonのdistutils（ほとんどのプラットフォームではPython 2.3.5以上に対応します; 64ビットのプラットフォームでは、Python 2.4以上が必要です）を多く拡張します。これにより、Pythonのパッケージをビルドし、配布することが容易になります。他のパッケージに依存しているパッケージでは、とくにそうなります。 setuptoolsを使ってビルドされ、配布されたパッケージは、ユーザにはdistutilsを使った普通のPy
![[Python] setuptools - SumiTomohiko's blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/8fee78eba43cfcfd4b2709870aaee152789dcb71/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F11696248318756227478%2F11696248318756227960%2F1375071763)
pythonのフレームワークでサクッとクローラをつくる。"Python Framework Scrapy" - 忘れないようにメモっとく
そうだクローラつくろう 研究テーマを探しつつ、なんとなくネットワークが面白そうと思っていた今日この頃。 研究で扱うのは、通信技術のネットワークではなくて、ノードとリンクに一般化したやつ。 「スモールワールド(small world phenomenon)」や「六次の隔たり(six degrees of separation)」など、一般的に知られてる部分もあって、経済現象とか感染症の拡散の理論にも適用できる(と言われている)ので、関連する分野がめちゃくちゃ広い。 ただ、実際のデータを無料で手っ取り早く集めるとなると、web上のドキュメントを解析するのが楽そう。ということで、クローラをつくってみる。 集めたデータをどう扱うかはまだ決めてない(!!)けど、とりあえず非リンク数とかの解析から始めようかと考えております。 Scrapy(すくれぴー) pythonのフレームワークにもいろいろあるみた
シンプルなジョブキューイング rq の紹介 | Borders Labs
あさとです。 今日はジョブキューイングを実現する rq という Python のライブラリを紹介したいと思います。 導入 pip でインストールできます。 $ pip install rq 別途、バックエンドで必要となる Redis をインストールしておく必要があります。 ジョブの作成 ...あさとです。 今日はジョブキューイングを実現する rq という Python のライブラリを紹介したいと思います。 導入 pip でインストールできます。 $ pip install rq 別途、バックエンドで必要となる Redis をインストールしておく必要があります。 ジョブの作成 今回は下記の様な実行時のエポックタイムを単純に返すだけのジョブを作成しました。 # myjob.py import time def ReturnEpoch(): data = time.time() return d
え？君せっかく Python のバージョン管理に pyenv 使ってるのに Vim の補完はシステムライブラリ参照してるの？ - Λlisue's blog
どうも、ご無沙汰してます有末です。 Pythonistaならpyenvだよねーってことで当初からバリバリ使わせていただいているのですが、最近djangoのプロジェクトを書く際に困ったのでまとめておきます。 具体的にはpyenvでPytho 3をインストールし、pyenv-virtualenvを用いて仮想環境を構築し、その仮想環境に django をインストールしただけでは jedi-vim の補完が効かないという問題です。 いくつかの要因が複合して複雑に成っていたので、ひとつずつメモしていきます。 忙しい人のための簡易書 普段からpyenvとpyenv-virtualenvを使用していてjedi-vimでdjangoの補完が効かなくて困っている。 とにかく補完を効かせたい。 戯言なんてどうでもいいという人は下記を~/.vimrcに記載してください。 " ~/.pyenv/shimsを$PA
flaskでjsonを返すサンプルコード - uokadaの見逃し三振は嫌いです
最近、Flaskというpython製のWAFを業務で使うために追加で調べている。 個人的には使ったことあるんだけど細かいところはどうなんだ？って突っ込んで調べなかったのでメモがてらにブログにポストします。 まず、単純にjson返すコードサンプル。 #!/usr/bin/env python2.7 from flask import Flask, jsonify app = Flask(__name__) @app.route('/name/<name>.json') def hello_world(name): greet = "Hello %s from flask!" % name result = { "Result":{ "Greeting": greet } } return jsonify(ResultSet=result) if __name__ == '__main__':
jedi.vim の popup_select_first が効かない - Memo
jedi.vim がバージョンアップして補完候補が常に選択されるという現象にあたった。 let g:jedi#popup_select_first = 0 という設定で解除できるとの事が正しく動作していない。 報告したけどあんまり良い感触じゃないっぽい。 g:jedi#popup_select_first = 0 did not affect · Issue #179 · davidhalter/jedi-vim · GitHub なのでアドホックな対応をした。 ~/.vim/after/ftplugin/python.vim に以下を設定した。 let s:save_cpo = &cpo set cpo&vim if g:jedi#popup_select_first == 0 inoremap <buffer> . .<C-R>=jedi#complete_opened() ? ""
Python の Flask で REST API を作ってみる
勉強がてら Python の Flask で REST API を作ってみた。/users リソース以下にユーザの CRUD を作ってある。リソースの表現は JSON にした。 #!/usr/bin/env python # -*- coding: utf-8 -*- import json from functools import wraps from flask import Flask, jsonify, request, url_for, abort, Response app = Flask(__name__) # ダミーデータ (DB の代わり) id_index = 3 users = {1: {'id': 1, 'name': 'foo'}, 2: {'id': 2, 'name': 'bar'}} def consumes(content_type): def _con
Django REST frameworkとbpmappersを組み合わせて使う - 偏った言語信者の垂れ流し
DjangoでREST APIを簡単につくるためのライブラリは、django-tastypie以外にDjango REST framework(以下rest_framework)というのもある。 Django REST framework これとbpmappersを組み合わせて使う方法を調べたのでまとめる。 rest_frameworkモジュールのソースコードを読んだところ、rest_framework.serializersはbpmappersとほぼ同等の処理を行っている。 そのため、bpmappersを使わずにrest_framework.serializersですべて実装してしまっても良いと思う。 今回はあえてそれをしない。 試したコード models.py from django.db import models class Item(models.Model): name = m
hexacosa.net
About Me My name is Hideo Hattori. Live in Hyogo, Japan. I'm a Software Engineer. I use C/C++, Python, Go, Rust. My interest are Programming Language, System Programming, Web development and System tools. GitHub Keybase Linkedin Blog (in Japanese) My projects peg-rst - reStructuredText in C. kamasu - HTTP Proxy for PHP Built-in Server, written in Rust. woothee-rust - Rust user-agent strings parser
NHK 番組表 API を触る為の Python クライアント作った - 祢占堂
はい え！？有給休暇取ってないの！？翌日が祝日なのに！？なにすんの！？前日が日曜日で？次の日が建国記念日で？有給取らない？なにすんの！？なにすんのそれ！？え！？有給取らないの！？4連休に出来るのに！？なにすんの！？どこ勤務？どこ勤務？どこ勤務？どこ勤務？どこ勤務？どこ勤務？どこ勤務？ど— すぎやまたいち (@sgymtic) 2014, 2月 9 有給とったはいいけど自宅の空調から異音がして全取っ替えを頼んだら 5 時間近く立ち会いでどこにも行けず暇になったので作った。 Repository: drillbits/nhk-api · GitHub PyPI: nhk-api 0.0.2 : Python Package Index 使い方は README を、API の詳細は公式ドキュメントを読めばいいと思う。例によって Python 3.3 じゃないと動きません。 先行者たち PHP:
Norges nettbutikk med generiske ED-piller • divide-et-impera.org
Nettbutikk divide-et-impera.org «divide-et-impera.org» er en nettbutikk som tar sikte på å forbedre helsen til menn og kvinner! Nettbutikken har vært aktiv på markedet i mer enn 3 år. I vår butikk vil du bli presentert for mer enn 200 stillinger av et høykvalitets produkt tilberedt i henhold til klassiske østlige oppskrifter fra pålitelige produsenter. Butikken vår organiserer regelmessig kampanje
PythonとMongoDBとPolymerでRSS Readerを作った | 1000ch.net
1ヶ月以上ぶりの更新… Pythonで何かアプリ書きたいなと思ってはいたので、RSS Readerを作りました。 フレームワークは薄いやつが良かったのでFlaskを、データはMongoDBに突っ込んでいます。 実物はHerokuにデプロイしてあります。 Cobra 1000ch/cobra Flask + MongoDBのところまで実装して暫く放置していましたが、最近思いつきでPolymerをねじ込んだので記事にしてみる。 やってること スケジューラでopmlに登録してあるRSSから記事を取得しMongoDBに保存 トップページで50件ずつ記事の表示 & 非同期で50件づつ取得 購読しているRSSで表示する記事をフィルタ Polymer入れる前はキープしてあるデータをごっそり表示してました。 正直50件ずつ取得にしたことで使い心地が落ちた。使いたいだけ。 Opml(XML)のパース→記事の
2012.05版 Python開発のお気に入り構成（ポロリもあるよ） - YAMAGUCHI::weblog
はじめに こんにちは、Python界の情弱です。最近は色々とPythonの開発環境も変化してきていて、ようやくPython2.xとPython3.xを行き来しながら開発する体制が整ってきたという印象を受けています。ここしばらくは色々と試していたのですが、ようやく鉄板っぽい方法にたどり着いたのでメモしておきます。 なお、後半はPythonに限らない内容なので、他のLLを使っていても使えそうかなと思っています。この環境を設定すると何ができるのかというと、以下のことすべてが、無料で、自鯖を立てることなく行えます。 開発環境の整理（virtualenv） ローカルでの複数環境のテスト容易化（tox+pytest） CIによるテスト（Travis-CI） ドキュメントの自動ビルドおよびドキュメントの公開（ReadTheDocs） 概要 とりあえず全体像を先に共有しておきます。ちょっとでかいですがご了
Pythonの命名規則のおさらいじゃい
どうもこんにちわ。 いきなりですけどPythonのみでコーディングしている人は少ないのではないでしょうか。 私もJavaとPythonとjavascriptなどの複数の言語を業務で扱うことがあり、 ある程度慣れては来ていますが、命名規則がごっちゃになったりします。 つーことで今更ながらPythonの超基本命名規則(by PEP8)のおさらい。 名称規約例module名lowercasehamegg.pyclass名CapWordsclass HamEgg(object):…exception名CapWordsclass HamEggException(Exception):…関数名lowercase_with_underscoresdef ham_egg():…関数名(既存の文脈※)mixedCasedef hamEgg():…メソッド名lowercase_with_underscores
Python で REST API にアクセスしてみる
Python で REST API にアクセスするコードはどんなものかなと、試しに WikipediaAPI (http://wikipedia.simpleapi.net/) のクライアントを作ってみた。 #!/usr/bin/env python # -*- coding: utf-8 -*- import sys import httplib2 import json class SimpleWikipediaClient(object): def __init__(self): # REST API のエンドポイント self._endpoint = "http://wikipedia.simpleapi.net/api" # 表現のフォーマット self._format = "json" def search(self, keyword): # リクエストのクエリパラメータ re
日本語リファレンスには書いてない話：urllibとurllib2の違いってなんだ - hylom's
‐ programming, open source, os, and a handful of tips Pythonでは、HTTPやFTPなどでファイルの送受信をするモジュールとして「urllib」と「urllib2」が用意されている。使い方も似ていて、どちらも引数としてURLを与えてurlopen()関数を呼び出すと自動的に対応したプロトコルでURLにアクセスしてデータを読み出せる、というものである。しかし、似たような名前で似たような機能を持つこの2つ、何が違うのかが明確にはドキュメントに記述されていない。そのためどちらを使うべきか迷って、そのたびにGoogleのお世話になるという状況だったのでざっとまとめてみよう。 外から見える違いとしては、urlopen()の引数としてurllibはURL文字列のみを受け付けるのに対し、urllib2ではurllib2.Requestクラスを受け
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
pyenv を使って macOS に Python の環境を構築する - Qiita
bitbucketの使い方
