ニコ動ダウンロード用ライブラリがgemコマンドでインストールできるようになりました - にたまごほうれん草アーカイブ
http://rubyforge.org/projects/nicovideo/ 昨日の記事で書いていたRubyforgeへの登録の件が完了したので、gemコマンドでインストールできるようになりました。 # gem install nicovideo初めてのRubyforgeへの登録なのでなんとなく嬉しいですが、しっかりメンテナンスもしていかないといけないですね。 ※ソースコードはCodereposで公開しています。 更新履歴 2009/05/01 version 0.1.8 マイリスト追加機能の追加（nicovideo gemにマイリスト登録機能を追加した。 - YaSuYuKiの日記(nicovideo出張所) - ニコニコ部) & 動作しなくなっていたメソッドの修正 2008/10/09 version 0.1.7 ベースタイトルを夏→秋 への修正 2008/07/23 versio
ニコニコ動画からの情報取得用ライブラリ、作ってます。 - ゆっくり実況ランキングサイト開発ブログ
Railsも初歩的な部分を理解し、あとは日々ニコ動から情報を取得すればいいだけなんですが、DB設計が思いの外難しく、あと一歩の所で完成を見ていません。 ただ、実用に足りる最低限のクローラはすでに完成しています。今日はそのクローラに使うRubyの自作ライブラリを紹介します。 NicoScraper 執筆時のバージョンは、0.2.12 です。 簡単に説明すると、動画、マイリスト、タグ検索結果の情報を取得し、取得結果からさらにいろいろ情報を抽出できるライブラリです。 詳しいことはドキュメントを読んでいただくとして、簡単な概要を。 インストール libxml2とlibxsltを使うので、入ってない場合は、 yum install -y libxml2 libxml2-devel libxslt libxslt-devel などとして入れて下さい。その後、 gem install nicoscrap
Webクローラフレームワーク Anemone の紹介
はじめに Anemoneはrubyで作られたWebクローラフレームワークです。実行した環境は Max OS X 10.6 です。 特徴は The multi-threaded design makes Anemone fast. The API makes it simple. And the expressiveness of Ruby makes it powerful です。 意訳するとマルチスレッド対応でAPIがシンプルなとことが売りという感じでしょうか。 クライアントのプログラムがシンプルに記述出来てCLIで実行出来るので他の(言語の)プログラムとの連携が取りやすい所が気に入り試してみる事にしました。 紹介記事：クローラーを作るためのフレームワーク「Anemone」 Anemoneのインストール $ gem install anemone lxml,lxslt2 関連でエラーが出
Ruby gem environment issue - LoadError: no such file to load -- robots
I'm attempting to write a crawler using the anemone gem, which requires the robots gem. For whatever reason, robots absolutely will not include. Here is some of my environment info: $ gem list -d robots *** LOCAL GEMS *** robots (0.10.1) Author: Kyle Maxwell Homepage: http://github.com/fizx/robots Installed at: /usr/local/lib/ruby/gems/1.9.1 Simple robots.txt parser $ gem env RubyGems Environment:
PDF変換のガイドライン
今回の構想発表では，レジュメの提出の際にPDF形式に 変換して提出することになっています．今後，学会発表の予稿や 他のどういう環境で作業しているかわからない人へ受け渡す文書を このPDF形式に変換する機会は多いと思いますので， まずは一度PDF変換環境の構築を試みることを強くおすすめします． . . 目次 Wordなどを使う場合 LaTeXを使う場合 Windows環境の場合 Linux環境の場合 関連リンク Wordなどを使う場合 Acrobat Distillerを用いてPDFに変換しますので， まずはDistillerの設定から行います．以下はWindows環境の場合の説明です． まず，［スタート］―［設定］（―［コントロールパネル］）―［プリンタ］ にある「Acrobat Distiller」プリンタアイコンを右クリックし， ［プロパティ］を選びます． Windows NT/200
「WEB+DB PRESS総集編」が過去10年分のPDF入っててコスパ高すぎる件
昨日 @sou_lab さんのツイートで知ったのですが、今売られている「WEB+DB PRESS総集編［Vol.1～60］」という雑誌には、過去10年分の記事が PDF 形式でまるごと収録された DVD が付録で付いています。 しかも値段は ¥2,699 なので、1冊あたり約 ¥45 です。 私は普段Webデザインの仕事をしているのですが、趣味で PHP や jQuery スクリプトを書いたりしていて、そっち方面も幅広い知識を身につけたいと思って本を買ったりはしているのですが「WEB+DB PRESS」は初心者には難しそうなイメージがあってあまり買ったことがありませんでした。 この際だからと思って購入し PDF をパラパラ見ていると、例えば「jQuery実践入門」という記事では「jQueryって何？」というところから丁寧に解説されていて、想像以上に分かりやすく役立つ記事がたくさんありました
オープンソースのRubyのWebクローラー"Anemone"を使ってみる - プログラマでありたい
Webサイトの調査をしようと思い、サイトクローラーが必要になりました。 各言語ごとに色々あるので何を使うか悩むところですが、Rubyでお手軽にということでAnemoneを採用しました。 ちなみに他の言語だと、下記のうちのどれかが良いのではないでしょうか？ Java：Nutch、S2Robot Perl：Gungho 余談ですが日本語で検索する場合、WEBクローラーで検索するかWEBスパイダーで検索するか悩みます。英語だとWeb SpiderかWeb Crawlerです。どちらかといえばWeb Spiderが一般的のようです。日本だとWEBクローラーの方が目的のものに辿り着きやすいような気がします。うーん、悩ましい。 Anemoneのインストール手順 Anemoneは、nokogiriを使います。 nokogiriが入っていれば、すんなりインストールも出来ると思います。 ちなみにnokogi
Anemoneで手軽にクロール | degoo*memo
クローラ開発してみようと思い、適当にググってみたんだけど情報少ない。 とりあえずJavaのNutchがメジャーなのかな？ってのは把握。 そもそもクローラとスパイダーっていう用語もどっちがメジャーなんだろ。 そんななか見つけたのが、Ruby のクローラフレームワークなるAnemone。 お手軽そうだったので、Anemone使ってはじめてのクローラ作ってみるよ。 ・インストール gem install anemone おわりー。 ・ スクレイプしてみる 今回のスクレイプ対象はiddy API。 まぁなんでもいいんだけどね。 ユーザのプロフィールURLをがさっと削りとってみる。 $KCODE = 'u' require 'rubygems' require 'anemone' #anemoneにメソッド追加 module Anemone class Page def doc4xml r
KENJI
更新履歴 DNS拡張EDNS0の解析 Linuxカーネルをハッキングしてみよう Windowsシステムプログラミング Part 3 64ビット環境でのリバースエンジニアリング Windowsシステムプログラミング Part2 Windowsシステムプログラミング Part1 Contents インフォメーション 「TCP/IPの教科書」サポートページ 「アセンブリ言語の教科書」サポートページ 「ハッカー・プログラミング大全 攻撃編」サポートページ ブログ（はてな） BBS メール このサイトについて テキスト 暗号 詳解 RSA暗号化アルゴリズム 詳解 DES暗号化アルゴリズム crypt() アルゴリズム解析 MD5 メッセージダイジェストアルゴリズム crypt() アルゴリズム解析 （MD5バージョン） TCP/IP IP TCP UDP Header Format（IPv4） Ch
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://anemone.rubyforge.org/doc/index.html