実践的な分散処理を利用して処理を高速化 - にほんごのれんしゅう実践的な分散処理を利用して処理を高速化 GCPやAWSで膨大な計算を行う際に、オーバーヘッドを見極めて、大量のインスタンスを利用し、半自動化して、より効率的に運用するテクニックです。 Kaggle Google Landmark Recognition + Retrievalで必要となったテク Kaggleでチームを組んで皆さんのノウハウと勢いを学ぶべく、KaggleのGoogle Landmark RecognitionとRetrievalのコンペティションにそれぞれチームで、参加しました。 メンツは、キャッシュさん、yu4uさん、私という激強のお二人に私が計算リソースの最適化で参加しました。画像のことはディープ以降の知識レベルであったので、大変勉強になったコンペです。結果は銀メダル２個です。 「ディープの特徴量」 + 「局所特徴量」の両方を取り出し、マッチングを計算するという問題で、こ
