あらためてRuby製のクローラー、"anemone"を調べてみた - プログラマでありたい
３年ほど前に、Ruby製のクローラー"anemone"を紹介しました。その当時から完成度が高く、Rubyでクローラーを使う場合はanemoneを利用してきました。最近、他に新しくて良いのがないか調べましたが、機能面の網羅性という意味でanemoneを超えるものは見つけられませんでした。そこで改めてanemoneのソースを読んでみたところ、クローラーが必要とする機能を必要最小限で実装され、やはり中々良い出来です。冬休みの宿題ではないですが、勉強の意味を兼ねてソースを追っていくことにします。 Anemoneが利用しているライブラリ一覧 anemoneが利用しているライブラリは、４種類に分類できます。 Ruby標準or一般的なライブラリ データ取得で利用しているライブラリ データ解析で利用しているライブラリ データ保存で利用しているライブラリ この分類別に構造をみるとわかりやすいので、順番に追っ
家庭内ストレージ／NASのあれこれ。保存方法からバックアップ対象まで - プログラマでありたい
はてブを見てると、NASやクラウドドライブなどストレージ関係のエントリーが幾つかあがっていました。私は、家庭内ストレージには比較的うるさいので一言いわせて頂きます。 家庭内でのストレージの種類 まずは一般的に家庭内のストレージはどういった種類があるのか整理してみましょう。主に下記の5種類くらいに分類出来るのではないでしょうか？ パソコンのローカルストレージ（HDD/SSD） スマフォ／タブレットのデータ領域 NASなどのネットワーク接続型共用ストレージ Dropboxなどローカル同期型のクラウドストレージ Amazon S3やBitcasaなどのローカル非同期型のクラウドストレージ ストレージを考える上でのポイントは、速度・容量・価格の3点です。 まず速度については、パソコンからファイルを読み取るスピードです。小さいサイズのファイルだと余り問題になりませんが、動画系など大きなファイルだとこ
ESX 4 ローカルストレージのブロックサイズの変更方法 その2
ESX 4 ローカルストレージのブロックサイズの変更方法 その1 で、 インストール時に、ESX 4のローカルストレージ（COSが配置されるVMFS領域）のブロックサイズの変更の方法を説明しましたが、 今回はESXをインストールした後に、ローカルストレージのブロックサイズを 変更する方法がVMware社から発表されていたので実際に行ってみました。 http://kb.vmware.com/kb/1013210 大まかな手順としては、以下の通りです。 手順1.COSの仮想ディスクを、ネットワーク経由（もしくは、USB等のリモーバルディスク）にバックアップ ※今回の手順ではネットワーク経由でCOSの仮想ディスクをバックアップするので、linuxサーバを用意して下さい。 手順2.ローカルストレージを、フォーマット 手順3.手順1でバックアップしたCOSをリストア。 手順4.COSがきちんと起動す
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【井上繁樹の最新通信機器事情】 アイ・オー・データ機器「LAN DISK HDL2-H4/TM3」 ～主要オンラインストレージと連携可能なビジネスNAS
