scrapy - 刺身の上にたんぽぽ乗せる日記
Python用のスクレイパーライブラリ。 http://scrapy.org/ 何がいいかというと、 IO処理の効率が大変高いので、多重ダウンロードなどが効率的 リクエスト投げて、結果をとってくるところはある程度勝手にやってくれる スクレイピング自体がxpathが使えるのでめちゃくちゃ楽チン はまったのは２つあって、まず再帰的にクロールする方法がわからなかったけど、これは単純にRequestのオブジェクトをYieldすればいいだけだった。 yield Request(url, callback=self.parse_blah) 次にはまったのは文字コードの問題で、HTMLResponse*1で、自動判別した文字コードが間違えている場合に、手動で変換してからxpathに渡すのが、 response._encoding = "shift-jis" hxs = HtmlXPathSelector
nonopaste-cli を書いた - @kyanny's blog
kazeburo さんの NoNoPaste 向けにコマンドラインツールを書いた。 https://github.com/kyanny/nonopaste-cli イントラネットに NoPaste 的なものを導入しているところは多いと思いますが、コードや設定ファイルの類を気軽に貼りつけて共有する際にいちいちマウスで選択するのは面倒だなと思ったのでコマンド一発で済むようにしてみた。楽に使える -> 利用が増える -> コードでのやりとりが増えてみんなハッピー、という感じになるといいなあ。 https://github.com/defunkt/gist を意識して、実行後に貼りつけられた permalink を表示するようにした ファイル名指定と標準入力から読むのを両方サポートしてみた ファイル名指定の場合は複数指定も可能（複数の permalink が作られる） 環境変数 NONOPASTE
nicesort ってのを書いてみた - kazuhoのメモ置き場
sleep sort とか環境にやさしすぎて21世紀には不向きだと思うの。なので nicesort なるものを作ってみた。 #! /bin/bash function f() { nice -n "$1" perl -we 'for (1..1000000) {}' echo "$1" } while [ -n "$1" ] ; do f "$1" & shift done wait こんな感じで動きます。注意点としては、マルチコアだとうまく動かないので taskset 使いましょう (linux の場合) ってのと、0-20の範囲でしかそーとできないよってあたりかしら. $ taskset 1 ./nicesort.sh 1 9 6 4 1 4 6 9ちなみに、nice 値が１増えると実行時間は1.25倍になる。これは試験に出るよ！ 参考: 革命の日々！ CFSのnice値について
node.js アプリの負荷分散構成を考える - KrdLab's blog
node.js の負荷分散について考えてみました (フェイルオーバは考慮できていません)．個人レベルなので 1 台のハード上に仮想マシンを 5〜6 個立ち上げて実験しています． 見出し はじめに cluster で負荷分散 寄り道：cluster の仕組み 例えばこんな全体構成 おわりに はじめに node.js は設計上，大量のコネクションを省リソース (プロセス・スレッドをバカスカ生成しない) でさばきます．おそらく想定されているのは I/O バウンドな処理であり，この場合は基本的に非同期で処理されるため，I/O 待ちで他のリクエスト処理がブロックすることはまずありません． node.js は「サービスをつなぎ・組み合わせるためのハブ」的な位置づけが一番しっくりくるように感じます *1． ただ， 大量のリクエストをさばかなければならない ロジックが重くてコールバック処理に負荷がかかって
暴れる内田裕也に本木雅弘タックル、希林鉄パイプでボコボコ - 芸能 - 最新ニュース一覧 - 楽天woman
住居侵入と強要未遂の容疑で警視庁原宿署に逮捕された内田裕也容疑者（71）だが、妻・樹木希林（68）はそれでもなお「離婚しない」と宣言。なんとも奇妙なふたりの関係だが、長女・也哉子（35）夫婦を巻き込んでのこんなエピソードも。 1995年には、也哉子のもとに本木雅弘（45）が婿入りした。樹木が本木に「内田の姓を残したいから」と頼み込んだ末のことだった。やがて2人の孫が生まれると、樹木と本木は都内に3階建ての二世帯住宅を新築。樹木は娘夫婦との新しい生活を始めた。同居の理由について、芸能関係者はいう。 「“年齢の幅の広い家族は子供にいい影響を与えるから、一緒に住まない？”と樹木さんが本木さんに提案したんです」 内田が、その新居の平和を乱したことがあった。一等地に豪華な二世帯住宅を建てたことに腹を立てたのか、内田が真夜中にやって来ては家の外で「ファックユー、おれはどうなるんだあ！」と大声で叫び続け
Why Not MessagePack?
JSON is a fantastic format, anywhere people in your organization want to reach for XML, it’s always a good thing to ask the question “Why not JSON?”. The question I’d like you to ask the next time you’re reaching for your JSON hammer, is “Why not MessagePack?”. MessagePack has the following things going for it when compared to JSON. JSON Compatible: Anything that works with JSON will work with Mes
Tombloo.pixivパッチにサムネイル画像のズーム表示機能付けたよ | 圧縮電子精神音楽浮遊構造体
2011年5月2日月曜日 Tombloo.pixivパッチにサムネイル画像のズーム表示機能付けたよ こないだの Firefox アドオン Tombloo のパッチ 「pixiv からブックマークと同時に POST できる Tombloo パッチがサムネイル対応」をアップデートしました。 前バージョンでサムネイル対応したものの、 もう少し画像を大きく表示できないものかと思うことが多々あり 小さいサムネイルイラスト画像をズームできる機能を付けました。 画像をクリックするとズームして拡大表示できます。 ズームした状態でも pixiv ポストが可能です。 本来の作品 (イラスト) ページに行くには、 イラスト画像の下または横にあるテキスト、 作品のタイトルがリンクになっているのでそこから移動できます。 今回追加/改善された機能 pixiv のサムネイル画像をクリックすると拡大表
第42回 PostgreSQL 9.0に見るSQLインジェクション対策 | gihyo.jp
PostgrSQL 9.0から追加されたエスケープ関数から、SQLインジェクション対策を再度解説してみたいと思います。 SQLインジェクション対策の4原則 基本的にはSQLインジェクション対策として以下の原則を守っていれば、SQLインジェクションに脆弱なアプリケーションを作ることはありません。 すべてのパラメータを文字列としてエスケープする すべてのパラメータをプリペアードクエリのパラメータとして処理する 文字エンコーディングの設定をAPIで行う パラメータとして処理できない文字列はバリデーションを行う 原則1と原則2は重複して適用する必要はありません。どちらかを行います。文字エンコーディングの設定やプリペアードクエリのエミュレーション・抽象化ライブラリのバグ等でSQLインジェクションが可能になる場合もありますが、通常であればこの原則を守っている限りSQLインジェクション脆弱性を作ることは
- このブログは非公開に設定されています。
ブログ このブログは非公開に設定されています。 (Access forbidden) 他のブログを探す ブログランキング（共通のジャンル） 1 裏ピク 2 放送事故★お宝エロ画像村まとめ 3 AV女優2chまとめ 4 マブい女画像集 女優・モデル・アイドル 5 エロ画像まとめ えっちなお姉さん。 ヘルプ インフォメーション リクエスト 利用規約 障害情報 FC2ブログについて FC２の豊富な機能 スマホからもブログ投稿 有料プラン アルバム機能 おすすめブログ テンプレート一覧 マガブロ マガブロとは？ マガブロランキング マガブロの書き方 マガブロアフィリエイト サポート ヘルプ インフォメーション リクエスト 利用規約 障害情報 アプリでもブログ投稿 FC2トップ お問い合わせ 会社概要 プライバシーポリシー 著作権ガイドライン 広告掲載 Copyright(c)1999 FC2, I
目grep入門
Kernel/VM探検隊 #6で発表したスライドです。 解説編はこちら→http://www.slideshare.net/murachue/grep-8132856Read less
Macで無線LANが遅い問題を解消する方法 | ミネルヴァの梟は黄昏とともに飛び始める（山下 大介 公式ブログ）
はてぶの人気エントリー入りしたようで、補足。 私自身、こんなんで速くなるわけねーよ！と思っていたのでデータ取りしていませんでしたが、私の記事を読んでデータ取りしてくれた人がいました。結果は劇的に改善されたようです。Twitterを見ると多くの環境で効果があったようです。 あと、はてぶを見ていると１名遅くなったという人がいらっしゃいましたが、ネットワークに関するパケットサイズなどをチューニングしている人や無線LAN専用の圧縮ソフトを導入されている方は設定が消えることで遅くなる可能性があると思います。普段は初心者がまぎれ込むようなブログではないので、注意書きをしていませんでしたが、PCの設定は自己責任でお願いします。 最近、無線LAN経由でインターネットをすると遅くておかしいなと思って色々調べてみました。 すごく嘘くさいけど、ネットワーク設定を作り直すだけで速くなるとネットに書かれていたので試
Mozilla Re-Mix: QRコードをデコードすることができるFirefoxアドオン「QR Decoder」
FirefoxやThunderbirdはWEBユーザーの必須アイテム。 初心者からヘビーユーザーまで使える！便利でクールなFirefox拡張機能（アドオン）の使い方やカスタマイズ、Mozilla関連情報をどうぞ。 Adobe 「Flash Player」を緊急アップデート。 by hoge (07/16) Adobe 「Flash Player」を緊急アップデート。 by H.I. (07/16) ウェブページから余計なコンテンツを排除して読みやすく表示できるFirefoxアドオン「Tranquility Reader」 by しんちゃん (07/11) YouTubeのHTML5動画に表示される広告をブロックしてくれるFirefoxアドオン「YouTube Advertisement Blocker」 by はち (06/17) ウェブページ上の不要なリンクを非表示にできるFirefox
あらゆるCプログラマが未定義の動作について知るべきこと - YAMDAS現更新履歴
LLVM Project Blog: What Every C Programmer Should Know About Undefined Behavior #1/3 LLVM Project Blog: What Every C Programmer Should Know About Undefined Behavior #2/3 LLVM Project Blog: What Every C Programmer Should Know About Undefined Behavior #3/3 コンパイラ基盤 LLVM のブログで、未定義の動作という C 言語のダークサイドについての記事が3回シリーズで公開されている。 C 言語で未定義の動作を実行したら、「鼻から悪魔が飛び出しても文句が言えない」というジョークは有名で……いや、そんなのを知ってるのは年寄りくらいか（参考：nasa
はてブコメントをTogetter風に引用できるツールを作りました！ - メモ他
Webアプリはてなブックマークのコメントをブログで引用したいときってありますよね？そんなあなたにこれ！ブコメを簡単に引用できるツールを作りました。こんな風に引用できます！HTMLで編集できるからと言って改ざんしちゃダメですよ？md2tak ネタ 2011/05/23並べるとよりTogetter風になります。きちんとタグへのリンクも貼られます↓。←のアイコンがユーザブクマページ。→のユーザIDのリンクが当該ブクマへの直リンです。md2tak ネタ 2011/05/23 使い方上記ブックマークレットをお気に入りに登録します。ブックマークページでブックマークレットをクリックします。（設定フォームが表示されます）引用したいブックマークコメントをクリック。コピー用のプロンプトが表示されるのでコピーします（IEなら自動）。ブログなどに貼り付けます。よくわかんなかったら聞いてちょ課題とか既存のツールがな
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Vimmerの方へ：.vimrcでこれは入れておけというオプションは？ - ANS-prog
http://www.machu.jp/posts/20110521/p01/
Home | Nidhis