実践的な分散処理を利用して処理を高速化 GCPやAWSで膨大な計算を行う際に、オーバーヘッドを見極めて、大量のインスタンスを利用し、半自動化して、より効率的に運用するテクニックです。 Kaggle Google Landmark Recognition + Retrievalで必要となったテク Kaggleでチームを組んで皆さんのノウハウと勢いを学ぶべく、KaggleのGoogle Landmark RecognitionとRetrievalのコンペティションにそれぞれチームで、参加しました。 メンツは、キャッシュさん、yu4uさん、私という激強のお二人に私が計算リソースの最適化で参加しました。画像のことはディープ以降の知識レベルであったので、大変勉強になったコンペです。結果は銀メダル2個です。 「ディープの特徴量」 + 「局所特徴量」の両方を取り出し、マッチングを計算するという問題で、こ
Whether you’re just starting to learn Python, or you’ve been working with it for awhile, take note. The lovably geeky Nick Parlante – a Google employee and CS lecturer at Stanford – has written some awesomely succinct tutorials that not only tell you how you can use Python, but also how you should use Python. This makes them a fantastic resource, regardless of whether you’re just starting, or you’
Memcached使ってみました。単純な例で動作を確認後、python-blog-systemの画像出力部分に適用し、ベンチマークをとりました。 Memcachedとは 分散KVS(キーバリューシステム)の一種です。いわゆるRDB(リレーショナルデータベース)は、スケールアウトに向かない構造をしているために、安いサーバをいっぱい並べても性能がリニアに向上しません。Memcachedでは、トランザクションや、データの耐久性などを保証しないかわりに、大量のデータを、高速にキャッシュすることができます。詳しい説明は本家でどうぞ⇒http://memcached.org/ 概要が知りたければwikipediaがお手軽です。 シンプルな例 まずは、非常にシンプルなコードを書いて動作を確認しました。 初回アクセス: 何も表示されません。 キーweatherに対して何も設定されておらず、Noneが返され
Python at Google.notes (2006/02/12) python Python at Google.notes Google で Python が使われているとよく言われているが、どういうところで使われているのだろうか。これは、Python at Google で検索すると分かる。Python at Google.notes を見てみよう。Google で使われている言語は、C++, Python, Java が主なもの。これ以外の言語は、特別に許可を取らないと使えないようだ(Perl なども一部で使われているがやはり許可が必要)。一番多用されているのは C++ で、Python がそれに次ぐ。それゆえ Python は SWIG を多用していようだ。Python のバージョンは、2005年5月の時点では、2.2 が使われている。あれだけのサービスで使われていると、さす
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く