タグ

ブックマーク / serinuntius.hatenablog.jp (3)

  • 【裏技】みんな知らないログイン必須ページの爆速スクレイピング【モテるシェル芸】 - ps aux | grep serinuntius

    おはようございます。 裏技ってつけると急にワザップ感が出て、懐かしいですよね〜。 こないだ飲み会で同期とそんな話をしておりました。 題 ログインが必要なWebサイトで画像を引っこ抜いて欲しいという依頼があり、スクリプトを書くかな〜と迷ったんですが、よく考えたらシェル芸だけで出来るな〜と思ったので共有したいと思います。 今回はデザイナーにGitHubのIssueに貼ってある画像200枚以上をzipで欲しいって言われたので、それを題材にします。 環境 Chrome curl grep egrep やり方 1. Chromeでおもむろにデベロッパーツールを開く Macなら Shift + Cmd + c等で開けます。 2. networkを選択する そのページのリクエストを見つける たぶん、一番上のはず。 3. 右クリックして、Copy as cURLを選択 今回の肝はこれで、ブラウザで送った

    【裏技】みんな知らないログイン必須ページの爆速スクレイピング【モテるシェル芸】 - ps aux | grep serinuntius
    honeybe
    honeybe 2018/07/20
  • Go専用対ISUCON兵器 「graqt」を書いた - ps aux | grep serinuntius

    はじめに この記事でも書いたけど、最近ISUCONの面白さに気づいた。 serinuntius.hatenablog.jp 社内ISUCONはRubyで書かれていたけど、家ISUCONでは使用言語が選択できる。 そうなったら、今なら迷わずにGoを選ぶ。 それは、何故かと言うとGoが速いとかそういう理由よりも、GolandというIDEのおかげである。 こいつの補完やらなんやらがとても良くできているので、ソースを読むのも書くのも爆速になるからである。 RubyにもJetbrains製の Rubymine というのがあるけれど、動的言語だからか完全にはコードジャンプできない。 同名のメソッドがあったときには、選択肢が出てユーザにどのメソッドですか?みたいな感じで問いかける感じ。 けど、Golandは型があるからか100%の精度でコードジャンプできる。 そのおかげで、爆速コードリーディングが可能

    Go専用対ISUCON兵器 「graqt」を書いた - ps aux | grep serinuntius
    honeybe
    honeybe 2018/05/01
  • ISUCON7優勝者と社内ISUCONに出て学んだ12のこと - ps aux | grep serinuntius

    昨日新卒研修向けの社内ISUCONがあり、ISUCON7の優勝者であるsuzukiくんとペアを組んで去年の新卒という枠*1で出させてもらった。*2 僕のISUCONレベルは、社内ISUCONを新卒研修のときに1回やったことがある程度で、レベル5まであるとすれば僕は確実に1ですね。一度やったことがあるというだけですw レベル1の僕が学んだことなので、ISUCONの常連さんには当たり前のことなのかもしれませんが、順番に書いていきたいと思います。 今回のお題 学んだ12のこと 準備を爆速で終わらせる 初期ベンチ回してアタリを付ける 静的ファイルの配信をnginxでする 分析基盤を作る 静的ファイルのキャッシュ ループクエリ撲滅 テーブルの非正規化 ボトルネック以外を修正する意味の薄さ 最終ベンチでFailしたらダメ!!! お互いを信じる!! MySQL(RDBMS)遅くない! Dockerがネッ

    ISUCON7優勝者と社内ISUCONに出て学んだ12のこと - ps aux | grep serinuntius
    honeybe
    honeybe 2018/04/27
  • 1