トップページ - 君の瞳はまるでルビー - Ruby 関連まとめサイト
本サイトの目的 まず最初に Ruby とはプログラミング言語の一つです。宝石好きでこのページに来てしまった方は、残念ながら引き返してください。あなたが心躍るような内容は皆無です。 では、その前提を踏まえた上で話を進めます。 Ruby というプログラミング言語を使うにあたって初めて聞く用語はとても多いです。 Ruby は言語のみならず、言語を中心としたコミュニティが作った周辺ライブラリやツール群が多数存在し、それらが集まって成り立っています。また、それらは常時発展を続けています。 Ruby の情報は日本語／英語共に比較的多いですが、 多くのサイト（特にブログ）では用語が当たり前のものとして書かれており、説明があまりありません。 発展途上の段階にある僕は頭の中を埋め尽くすはてなマークを１つずつ潰していく日々を送っています。 僕と同じく発展途上の段階にある Ruby プログラマーを対象とした情報
Anemoneというクローラーフレームワークを使ってみる
cles::blog 平常心是道 blogs: cles::blog NP_cles() « IE6からの乗り換えを促すドラクエ風flash :: 2009年分の確定申告スタート！ » 2010/02/15 Anemoneというクローラーフレームワークを使ってみる ruby scrape 89 0へぇ これまでクローラー使い捨てのクローラーは結構力業で作ってきたのですが、さすがにこういうことをやり始めてから1年以上が経ちこのままでは立ちゆかない事がいろいろと顕在化してきたので、クローラーを作るためのフレームワークをいろいろ調べていました。 JavaであればLuceneのサブプロジェクトであるNutchや、Seasarプロジェクトで開発されているS2Robot、PerlであればGunghoあたりに興味があるのですが、後処理の部分はRubyで書いてしまってあるので今回はAnemoneという
オープンソースのRubyのWebクローラー"Anemone"を使ってみる - プログラマでありたい
Webサイトの調査をしようと思い、サイトクローラーが必要になりました。 各言語ごとに色々あるので何を使うか悩むところですが、Rubyでお手軽にということでAnemoneを採用しました。 ちなみに他の言語だと、下記のうちのどれかが良いのではないでしょうか？ Java：Nutch、S2Robot Perl：Gungho 余談ですが日本語で検索する場合、WEBクローラーで検索するかWEBスパイダーで検索するか悩みます。英語だとWeb SpiderかWeb Crawlerです。どちらかといえばWeb Spiderが一般的のようです。日本だとWEBクローラーの方が目的のものに辿り着きやすいような気がします。うーん、悩ましい。 Anemoneのインストール手順 Anemoneは、nokogiriを使います。 nokogiriが入っていれば、すんなりインストールも出来ると思います。 ちなみにnokogi
Ruby で Double-Array を実装して Common-Prefix Search を試してみる - P A R A G R A P H S
lib/trie/double_array.rb at master from tily's ruby-gardening - GitHub Double-Array (ダブル配列) は トライ木を実装するためのアルゴリズムの 1 つで、他の実装よりも高速に TRIE から文字列を検索できるらしい。ChaSen や MeCab で、形態素解析を行うために必要な Common-Prefix Search (共通接頭辞探索) を行うために使われている。これを理解のために Ruby で実装してみた。 基本的な動作確認 ここに書いてある bird, bison, cat の 3 単語で構築した Double-Array の例。 コード： require 'trie/double_array' da = Trie::DoubleArray.new da.build(%w|bird bison cat
「全文検索エンジンgroongaを囲む夕べ #1」のRuby枠の資料公開 - 2010-12-01 - ククログ
先月の29日に、全文検索エンジンgroongaを囲む夕べ #1が開催されました。内容はgroonga本体について、groongaとRubyについて、groongaとMySQLについて、groongaとPostgreSQLについて、とgroonga三昧の内容でした。 groongaとRubyについての資料は以降で紹介します。groongaとPostgreSQLについてはすでに資料が公開されています（textsearch groonga v0.1）。参加できなかった方は参考にしてください。 それでは、groongaとRubyについての資料を簡単な解説付きで紹介します。 Ustreamで配信したものの録画もあります。Ruby枠は49分くらいからです。 リリース情報 開催日当日の29日、groongaの新しいバージョン1.0.4がリリースされました。もちろん、この夕べに合わせたものです。 さらに、
並列1000コネクションに耐える！ Ruby のイベント駆動ライブラリ Rev と EventMachine の HTTPクライアント : DSAS開発者の部屋
並列1000コネクションに耐える！ Ruby のイベント駆動ライブラリ Rev と EventMachine の HTTPクライアント こんにちは、takada-at です。 Rubyのイベント駆動型ネットワークプログラミングフレームワーク Rev と EventMachine で HTTPクライアントを動かしてみました。 イベント駆動型ネットワークプログラミングフレームワークとは何か説明しだすと難しいですが、一言で言うと、以下のようになります。 # ふつうのフロー駆動型プログラム Net::HTTP.start(host, port){|http| res = http.get(path) #この処理が終わってから } puts "done" #この次の処理が実行される # イベント駆動型プログラム client = Rev::HttpClient::connect(host, port
gren - 次世代grepを目指したコマンドラインツール - 気がつけば0.2.3、groonga, rroongaと連携して超高速検索をサポート！！ - おんがえしの blog
gren - gren is a next grep tool. お久しぶりです、gren 0.2.3 をリリースしました。(大分ブログの更新が滞ってしまいました・・) 今回の売りはgroonga, rroongaを利用して超高速検索モードを搭載したことです。自分のマシン内にファイルデータベースを構築し、それを利用して高速な検索を実現しています。 今までのgrenに加え、新たに mkgrendb ... ファイルデータベースの作成 grendb ... ファイルデータベースを利用した検索 という二つのコマンドラインツールが追加されています。 grenは今までと同じように使えます。現在位置を基点に検索したい時等はgren、ざっくりと全体から探したい時はgrendb、というように用途に応じて使い分けることが可能です。 インストール 0.2からrroongaを必要とするようになり、Windows
POST可能なRubyのNet::HTTP偽装テストライブラリWebMock - きたももんががきたん。
水風呂のすゝめ 毎日めちゃくちゃに暑い。 ここ数年「およげ!たいやきくん」のように昼間は太陽とオフィスビルとアスファルトの三方向から押し寄せる35℃オーバーの熱に挟まれ、夜になっても最低気温が27℃くらいまでしか下がらない。そんな理不尽な東京鍋の中の暮らしが毎年のことにな…
Ruby1.9とTokyoCabinet - yasuhisa's blog
Ruby1.9でTokyoCabinetを使っていて、UTF-8な文字列をTokyoCabinetのHDB(ハッシュデータベース)につっこんでいって、getするとASCII-8BITで返ってくるということで大分はまっていた(Ruby1.9だと文字コード(String#encoding)まで一致しないと同じ文字列だと見なされない)。 ファイルの読み込みなら File.open('hoge.txt', 'r:utf-8') とかやれば回避できそうだと思うんだけど、TokyoCabinetのようなものを使うときってforce_encodingを使うしかないんだろうか?この辺のbest practice的なところがよく分からないなー。 関連? moco β版 更新ログ: [Rails][習作] 簡易ブックマークアプリ (3)
SimString - A fast and simple algorithm for approximate string matching/retrieval
A fast and simple algorithm for approximate string matching/retrieval SimString is a simple library for fast approximate string retrieval. Approximate string retrieval finds strings in a database whose similarity with a query string is no smaller than a threshold. Finding not only identical but similar strings, approximate string retrieval has various applications including spelling correction, fl
)
Net::HTTP Cheat Sheet
Ruby Weekly is a weekly newsletter covering the latest Ruby and Rails news. Norwegian Rubyist August Lilleaas has been busy putting together a ton of examples of using the Net::HTTP Ruby library that comes with most Ruby distributions. I asked him if it'd be okay to put some of them directly on Ruby Inside for reference purposes and he said "No problem!" It's worth noting that Net::HTTP has been s
cached-open.rb - hitode909の日記
外部のウェブサイトなどをスクレイピングするようなプログラムを書いているとき，大量にリクエストを送るのに気を使って，sleepを入れたり，キャッシュしたり，ということが，よくあると思います． これまでに何度も外部のリソースをキャッシュする仕組みを作っているような気がしたので，外のリソースに気を使いつつopenしてくれるopenを作りました． http://gist.github.com/226675 以下のような仕様です． cached-openをrequireするとopenが上書きされる openした結果をローカルのMemcachedに格納し，キャッシュがあればそこから返す キャッシュがないとき，openできるのは5秒に1回(前にopenしてから5秒経つまでsleepする) スクリプトをちょっとずつ実行しながら作っていくときや，たくさんリクエストを送るとbot扱いされるサイトにアクセスしま
Rubyで2ちゃんねるのスレを読む - hitode909の日記
Rubyで2ちゃんねるのスレを読みたかったので，調べてみると，2ちゃんねるBOTの作り方を詳細に解説してくれている人がいた． 2ちゃんねるBOTの作り方 準備編 - GIOの日記 2ちゃんねるBOTの作り方 設計編 - GIOの日記 2ちゃんねるBOTの作り方 実装編1 - GIOの日記 2ちゃんねるBOTの作り方 実装編2 - GIOの日記 記事内のソースコードのリンクは切れていたけど，GitHubで公開されてた． gioext/bot2ch · GitHub スレの内容をパースする処理とかがなかったので，forkして欲しい機能を勝手に実装した． hitode909/bot2ch · GitHub 試しにこれを使って，ラーメン板の，タイトルにこってりを含むスレの最新のレスを表示してみる． require 'bot2ch' menu = Bot2ch::Menu.new board = m
Anemone - Ruby Web-Spider Framework
An easy-to-use Ruby web spider framework What is it? Anemone is a Ruby library that makes it quick and painless to write programs that spider a website. It provides a simple DSL for performing actions on every page of a site, skipping certain URLs, and calculating the shortest path to a given page on a site. The multi-threaded design makes Anemone fast. The API makes it simple. And the expressive
Spidr - About
Spidr is a versatile Ruby web spidering library that can spider a site, multiple domains, certain links or infinitely. Spidr is designed to be fast and easy to use. Features Custom User-Agent strings.Custom proxy settings. Follows: a tags.iframe tags.frame tags.HTTP 300, 301, 302, 303 and 307 Redirects. Black-list or white-list URLs based upon: URL schemeHost namePort numberFull linkURL extension
21 Ruby Tricks You Should Be Using In Your Own Code
Ruby Weekly is a weekly newsletter covering the latest Ruby and Rails news. Writing for Ruby Inside, I get to see a lot of Ruby code. Most is good, but sometimes we forget some of Ruby's shortcuts and tricks and reinvent the wheel instead. In this post I present 21 different Ruby "tricks," from those that most experienced developers use every day to the more obscure. Whatever your level, a refresh
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Rubyistよ、irbを捨ててPryを使おう | Webシステム開発／教育ソリューションのタイムインターメディア
IBM Developer
http://scrubyt.org/
RubyのMechanizeを解説 for 1.0.0 - きたももんががきたん。