ISUCON4 予選で workload=5 で 88000点出す方法 (lily white 参戦記) : DSAS開発者の部屋
ISUCON4 予選1日目に、 lily white というチームで参戦してきました。 試合中に 62000 点は出していたのですが、最終的に提出したスコアは 60344 点でした。 以降、予選終了までと、その後に気づいたさらにスコアを上げる方法について書いていきます。 実際の提出時のコードは methane/isucon4q-go リポジトリの "final" タグを見てください。 準備 (~前日) 予選方式が発表された時点で、 isucon3 予選と同じ方式だったので、有効な作戦もほぼ同じになる事が予測できました。 具体的には以下のとおりです。 PIOPS な EBS を使わないので、性能が不安定なディスクがネックになる問題は無いでしょう。 1インスタンスのみを使うということから、ネットワーク帯域がネックになる可能性も無いはずです。 ほぼ確実に CPU ネックな問題が出るはずです。 ア
Pythonではじめる野球プログラミング PyCon JP 2014 9/14 Talk Session
Pycon JP 2014発表資料です。 ピタゴラス勝率とBABIPについて、Django他で可視化しました。Read less
[MySQL][Python]8000万レコードをInsertする | Momentum
概要 ・とある物件で8000万弱のレコードを新規のDBに効率的にぶち込む方法を考える必要に ・MySQL(Amazon RDS) + Python(mysql.connector)を想定 ・mysql.connector + pythonについては拙文ながら(http://nekopuni.holy.jp/?p=927)に書いております。 ・コミットの位置には気をつけよう + Multiple Insert最強ねというお話。 方法その1 まずは最初にやった方法。1レコードごとにInsertしてコミットしていく方法。 今までDB関連でやったコードはレコード量も大したことなかったので以下の方法でも特に問題なかった。 具体的な環境としてはテキストデータ(csv)を読み込み、それをDBにInsertしていくというもの。 csvの中身は日付(DATE)とデータ値(VALUE)がカンマ区切りになってい
Pythonで作られた便利なコマンドラインツール MySQL Utilities
MySQL Utilitiesならではの注意点 MySQL Utilitiesは従来のコマンドラインツール群とは違い、以下のような記述で接続先を指定します。 これは、従来のコマンドラインツール群が主に1つのMySQLサーバーを対象として動作するものなのに対して、MySQL Utilitiesは2つ以上のMySQLサーバーを対象として動作するものが多いため、このような記法になっています。 [MySQL Utilitiesの記法] --server=ユーザ名:パスワード@ホスト名:ポート番号 [MySQL コマンドラインツール群の記法] --user=ユーザ名 --password=パスワード --host=ホスト名 --port=ポート番号 なおWindows環境ではローカルホストとしてlocalhostと127.0.0.1のどちらを指定しても同じですが、LinuxやUNIXではホスト名に対
Dropbox のスケールとか
Python なサービス みんな大好き Dropbox のスケールとかメモ。以下のページ辺りからピックアップ。Parted? みたいなので、続編がでたら追記するかも。 Scaling lessons learned at Dropbox, part 1 (comment) Dropbox - Startup Lessons Learned (slideshare) Dropbox -Yコンビネーターが生んだスタートアップの軌跡と未来 - スケール関係ないですが、2006 年当時はオンラインストレージサービスがいっぱいあったようで、VC から資金調達したときのやり取りがおもしろい VC "クラウドストレージサービスなんて腐るほどある" Drew "なにか使ってるのありますか？" VC "NO" Drew "..." 完璧で、スケーラブルで、クロスプラットフォームなクラウドストレージ！当時、プ
Rubyの会社でPythonistaが3ヶ月生き延びた話
2. 自己紹介 @tokoroten 好きな言語はPythonとawk 画像処理、セキュリティ、自然言語処理、機械学習 2012年2月 ドリコム中途入社 前職は某通信会社研究所、会社を三年で辞めた若者 入社時点でRuby経験ゼロ うんこ部屋入社 http://onk.bz/data/2008-02-24/1000speakers2.html ソーシャルゲーム基盤開発本部 R&D&火消し&インフラ＆データ収集&データ解析 ＝高機能雑用 3. 本日のアジェンダ データ解析の仕事の紹介 データ解析の基盤の紹介 データ解析の仕事の流れ データ解析の恐怖 ソーシャルゲーム屋の仕事の速さ Rubyの会社でRubyを書かないお仕事 リクルーティング的な何か 4. ドリコムのデータ解析基盤 データ解析 Hadoop Hive MySQL Rubyでゴリゴリ Pythonでゴリゴリ VBAでデータ加工 詳し
LAMPは死にGUNDAM (Github Ubuntu Node Dropbox AWS MongDB)の時代へ - W3DDD
クラウドWebサービス時代は GUNDAM (Github Ubuntu Node Dropbox AWS MongDB) だ！！ おい！おいおい！「LAMP経験者募集してます」っておい！もう2012年だぞ！もっとナウい感じのがあるだろ！！クラウドWebサービス時代は GUNDAM(Github Ubuntu Node Dropbox AWS MongDB)だ！！「LAMP経験は？」「俺がGUNDAMだ！」— Wataru MIYAGUNIさん (@gongoZ) 3月 12, 2012 LAMP (Linux Apache MySQL Perl-PHP-Python)の次の技術の総称はGUNDAMという言葉としてjanos,num,lnnmなどあったようですが 今ひとつ普及しない感じがありました。 しかし"GUNDAM"という言葉は普及しそうですね（ネタ的にもいいので） LAMPという言
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
