簡単なクローラ作るならPythonだよ！
http://d.hatena.ne.jp/nishiohirokazu/20120323/1332504404 最近、Webクローラクライアントを作るお仕事が増えた。WebクローラクライアントというのはHTTP(S)を介して様々なファイルをダウンロードして解析し、結果を溜め込むだけのプログラムである。ボットともいう。 クローリングの規模が大きくなると、クロール処理部と結果貯蓄部を分離する必要がある。クローラには様々なものがあるが、ものによっては特定のサーバに集中的にクローリングを行うこともある。このとき、1つのIPを使って集中的にクローリングを行うと、攻撃とみなされ一瞬でbanされてしまう。そこで、一見するとまったく関係なさそうなIPを複数確保し、それぞれにクローラーを仕掛けて走らせるのである。 結果貯蓄部は、要するにデータベースサーバであり、何を使用しても良い。クロール処理部とのやりと
「ハッカーはVimを使う」 騙される若者たち
Eclipseがemacsやvimより優れている点を挙げてみよう。 ・リファクタリング機能が強力 ・CVSリポジトリの構成を直接覗ける ・デバッガがグラフィカル ・設定できる警告メッセージの種類が豊富。 ・復元機能が非常に充実している。 CVSのように以前の状態に復元すること、以前の状態の ソースコードとの比較も容易。CVS(Eclipse標準装備)/Subversionプラグインにもこの機能は存在する。 ・プラグインの数が豊富、膨大。 ・プラグイン開発環境もEclipse自体に用意されている。 ・ライセンス形態がCPLであり商用利用もしやすい。 ・上位版にWSADが存在する。 ・IBMのバックアップがついている。 ・Smalltalkで有名なVisualworksの影響を受けているため、 JUnitプラグイン(Eclipse標準装備)によるテストファースト、リファクタリングの他、eXtr
手取り16万で毎月貯金を増やしていく方法
つづき書いた http://anond.hatelabo.jp/20100813005210 16万というのはあくまでも個人的な例で。もっと少なくてもうまくやれば可能でしょう。 家賃はよく言われる「手取りの3割」に則って5万円としておきます。 ポイント あるお金を我慢して使わないようにするのでなく、貯める分のお金は見えない状態にしておく 決めた金額以内で毎月生活する 払うべきは早めに払う 余計な手数料はいっさいかからない。無料。準備編銀行口座を開設する下記のすべての口座を作ってください。どれもネットで開設できます。 新生銀行選考理由：何時でも何回でもATM手数料無料だから。生活銀行として便利です。スルガ銀行ANA支店選考理由：VISAデビットカードが使えるから。VISAデビットカードとは銀行口座の残高だけ使えるクレジットカードのようなものです。ANA支店はキャッシュカードとVISAデビット
年収２００万円以下１０００万人超
年収２００万円以下の給与所得者、５年連続で１０００万人超 小泉構造改革で「ワーキングプア」増大が社会問題に http://www.jcp.or.jp/akahata/aik11/2011-09-20/2011092001_02_1.html とかいうニュースが。 確かに、給与は上がらない、転職しても給与は下がる。 ワーキングプアの問題も、それはそれであるが、プログラマとしての実感は 小泉構造改革で「プログラマーの質が全体的（平均値）に下がった」 である。プログラマーだけでなく、IT関連全体に言えるかもしれないが。 ついでに格差問題で言えば、以前からIT関連の技術格差はレンジが広いと言われていたが、小泉構造改革でさらに広がったと感じる。 何のことはない、プログラマーの派遣が多すぎるという事。 ひとくくりにプログラマーの特定派遣が質が悪い、とは言わないが、いい人に滅多に巡り会わなくなった。 金
お金持ちに大量に触れて気づいた8の共通点
お金持ちはワンパターンである去年くらいから、仕事柄、お金を持っている人たちと仕事をすることが多くなった。 お金を持っているの基準としては、一生食べるには困らなそうな人たち。具体的には、3億以上の資産を持っている人たち、といえばいいだろうか。もちろん飛び抜けてお金を持っている人もいれば、数億の人もいるのだけど、だいたい3億以上あれば毎日働かないで暮らせるので、私からしてみれば同じだ。 そして、お金持ちと友達になることで、気づいたことがいろいろある。こういってしまっては何なのだが、お金持ちたちは非常にワンパターンなのだ。 貧乏な人たちは多種多様である。すごくおもしろいやつ、変わったやつがいたり、最高にいいやつから、最低に悪いやつまでいろいろいるが、お金持ちはほとんどパターンがない。もちろんこれは絶対的に貧乏の数のほうが多いわけで、数が多いから多種多様であるだけなのかもしれないが、それにしても、
サイト運営をやってみて起こった６つの「想定外」
1ヶ月ほど前に、アノニマスダイアリーでサービスの紹介させてもらった「完全に一致」のおっさんです。 昨年11月25日に公開させてもらったサービスですが、公開から約1ヶ月半の間、いくつも思ってもみなかった事が起こりました。 誰かに聞いて欲しいものの、例のSEの友人が精神的な病で倒れてしまい聞いてくれる人もおらず、 Twitterでは短すぎてかけず、なおかつブログもないのでここに書かせてもらいます。 「なんだ、またかよ」という方、お目汚し失礼しました。 想定外1：サーバーが幾度となくダウン最初の記事を書いて、初日から約1週間で300万アクセスがあり、この間何度もサーバーが応答しなくなるという事態に陥りました。 MySQLサーバーとWEBサーバーの調整を教えてもらったお陰で、かなりダウン回数減らす事ができたものの、結局全然処理が間に合ってくれませんでした。 一番のネックになったのは画像の変換処理と
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
