長い時間かかるバッチを並行実行し何倍も早くする - Qiita
何倍も早くなるかどうかは処理している内容によりますが、並行に実行することにより長い時間かかっていたバッチがはやくなることがあります。 並行に実行できそうな例 ゲームの設定などが入っているマスターデータを順番にBigQueryにインポートしているが遅い MySQLのテーブルをRedshiftに順番にコピーしているが遅い 複数のSQLをMySQLに投げ、すべて取得し終わってから処理をしている まだまだたくさんありますが、ひとまずこれくらいに。 上記を実現できそうなモジュールとして、geventがあったので、試してみました。 (ちなみにgeventは1プロセスのイベントループで並行に処理するものなので、CPUバウンドな並列化の場合は、他にも組み合わせる必要があります) geventを使わず直列で実行した場合 通常、何もやらずに処理を書くと以下のように書くことになります。 import time
pixivがECサイトを開発するということ - pixiv inside [archive]
BOOTH/pixivFACTORYのプロダクトマネージャーのshigenyanです。 ふだん、ピクシブのいわゆる総合職(ピクシブでは、エンジニアではない社員をまとめてそう呼びます)の社員が情報発信する機会はとても少なかったため、エンジニアが進めているアドベントカレンダーに乗っかる形で、総合職からも少しずつプロダクトや業務について紹介していきたいと思います。 筆者について 私は2012年にピクシブ株式会社に新卒で入社、開発部でpixivのディレクター、マーケティング部で広告営業などを経験した後、2013年夏頃よりpixivとは性質の異なる新サービス「BOOTH」の立ち上げに携わり、2013年12月にBOOTHをリリース、その後は機能改善などの開発ディレクションを行いました。2015年2月にBOOTHの姉妹サービスとして「pixivFACTORY」をリリースし、以降はプロダクトマネージャとし
![pixivがECサイトを開発するということ - pixiv inside [archive]](https://cdn-ak-scissors.b.st-hatena.com/image/square/b5cbcd0633ada7693feaa77d1fd5b2ccbf077127/height=288;version=1;width=512/http%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fd%2Fdevpixiv%2F20151210%2F20151210174321.png)
Make: Japan | Raspberry Pi ZeroはFRISKケースに収まるか？
2015.12.10 Raspberry Pi ZeroはFRISKケースに収まるか？ Text by Takumi Funada Raspberry Pi ZeroはFRISKケースに収まるのだろうか？ 結論から言うと「収まりません」。Zeroの基板サイズが65x30mmと聞いたときには「もしや？」と期待しました。でも、FRISKケース加工の熟練者だったら「惜しい」と思ったんじゃないでしょうか。FRISKケースの外形を計ると70x32mmなのでギリギリ入りそうなんですけど、引き出し状の2重構造になっていることから内寸は約28x67mmなんです。だから入りません。 でも、諦めきれずFRISKを舐めながらケースに基板をあてがって試行錯誤しました。その結果が上の写真。外側のケースに3つのコネクタを通す穴を開けてやれば、ぴったり「填まり」ますね。フタをすることはできないのですが、うっかり基板底面
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
画像リプライ
政治山
