Resqueで複数サイトにまたがるクローリングを最適化しよう | VASILY DEVELOPERS BLOG
どうも。バックエンドエンジニアの吉田です。 前回は1サイトをクロールする際の最適化戦略としてRedisベースの分散ロック機構を使った実例を紹介しました。 前回の記事：Redis::DistMutex – 時限付き分散ロックで効率良くサイトクロールをしよう 今回は複数サイトに対する処理をResqueを使って最適化した事例を紹介したいと思います。 ※ランダムにキューをlistenする話の予定でしたが、話がとっ散らかるので主題を変更しました。 主なキーワードとしては、「Resqueのキュー分割」、「Rubyでクラス定義を動的生成」といった感じです。 おさらい 前回使った図を使います。 iQONのクローラーは、提携サイトの商品一覧から商品ページのURLを取得し、ページをダウンロードする処理(fetchフェーズ)を必要な数だけWorkerプロセスとして起動しておき、Resqueを使って処理をして
GITLAB: Self Hosted Git Management Application
1. Keep your source code at your server! Your own lite app for projects/repositories hosting on your server. Fast, secure and stable solution based on ruby on rails. 2. Use Git! We use git as version control system for projects 3. Browse source-code, issues, comments. Manage team access to repository
ZOMEKIクラウド
利用条件 契約期間は月単位です。 契約は月単位で自動更新です。 月末までにご連絡いただくと、月末で契約を終了します。 CMSの操作方法のサポートは、記事の作成、編集、削除の操作のみとします。 ホームページ制作についてのサポートは、別途サイト制作の技術サポートを契約してください。
ネコでもテキスト分類器のRubyライブラリが生成できる便利ツールを作った - デー
あまり細かいことは気にせずテキスト分類器のRubyライブラリを1コマンドで自動生成する便利ツールを作りました。 いろいろ迷走している間に。 gem install nekoneko_genでインストールできます。 なにをするものなのか、ちょっと分かりにくいので、例で説明します。 ２ちゃんねるの投稿からどのスレッドの投稿か判定するライブラリを生成する 例として、２ちゃんねるに投稿されたデータから、投稿（レス）がどのスレッドのレスか判定するライブラリを生成してみます。 準備 まず gem install nekoneko_genでインストールします。 Ruby 1.8.7でも1.9.2でも動きますが1.9.2のほうが5倍くらい速いので1.9.2以降がおすすめです。 環境は、ここではUbuntuを想定しますが、Windowsでも使えます。（WindowsXP, ruby 1.9.3p0で確認）
Young risk taker.
Scalaでは、オブジェクトの作成〜オブジェクトのメソッド呼び出しによる初期化のための、シンタックスシュガーが用意されている。コンストラクタでオブジェクトを作成して、その後オブジェクトのメソッドを呼び出してオブジェクトを初期化する事はよく例を一つ紹介。 Jettyのハンドラーの初期化をシンタックスシュガーでコーディングした例。ブロック内のスコープは、オブジェクト内でのスコープと同じになるので、メソッドを呼ぶ事ができる。 before: val handler = new ResourceHandler handler.setResourceBase("/webapp") after: val handler = new ResourceHandler { setResourceBase("/webapp) } ほんの少し気持いい。 Scalaでは、Javaの型の多くをラップしたクラスにて再
Geekなぺーじ : Rubyネットワークプログラミング
ここでは、Rubyによるネットワークプログラミングの説明を行いたいと思います。 ここで対象としている読者は、ネットワークプログラミング初心者（もしくは入門者）です。 TCP 簡単なTCPサーバとクライアント TCPクライアント(エラー処理付き) 何度も受信できるTCPサーバ TCPサーバ(acceptした相手の確認) UDP UDPを使う UDPでブロードキャストを使う UDPでマルチキャストを使う(マルチキャストを送信する) UDPでマルチキャストを使う(マルチキャストを受信する) UDPでマルチキャストを使う(TTLを設定する) Web 簡単なHTTP GET（Net::HTTP） HTTP HEADと全てのHTTPヘッダの表示（Net::HTTP） HTTP POST（Net::HTTP） 簡単なRSSクライアント その他 IO::selectを使う IPアドレスからホスト名への変換
MOONGIFT: » Rails用、WebベースのIDE「Gyre」:オープンソースを毎日紹介
最近はWebアプリケーション化が進んでいる。画像編集や動画の編集、ストレージ等様々なものがWebアプリケーションになっている。機能は限られているかも知れないが、可能性は無限大だ。 そんな中、WebアプリケーションさえもWeb上で作ってしまおうというのがこのソフトウェアだ。 今回紹介するオープンソース・ソフトウェアはGyre、Rails用のWebベースのIDEだ。 Gyreは現状、α状態であるためにきちんと動作しない点は多い。だが、その点に目をつぶってもユニークなソフトウェアだ。 Gyreは既存のRailsアプリケーションに組み込むこともできる（コーディングの追加も必要だが）。だが、Gyre上から新しいプロジェクトを追加する方が良さそうだ。 Gyreから既存ファイルを編集したり、新規ファイルを作成することもできる。例えばモデルを作成すれば、migrationファイルも自動で作成される。 そし
dRuby を使って Excel ファイルの中身を配信 - elm200 の日記(旧はてなダイアリー)
趣旨 私は Windows (ホストOS) + VWMare 上の Linux(ゲストOS) という構成で開発を行っているのだが、どうしても Linux 側から Excel ファイルを読みたくなった。そこで、dRuby を使って Windows 側から Excel ファイルの中身を読み出す Ruby プログラムを書いてみた。拙いコードだが皆さんの参考になれば幸いである。 使い方 サーバ側 下のソースコードを excel_server.rb というファイル名で Windows マシン上に保存する。いま仮に C:\ に保存したとする。次のようにして実行。 C:\>ruby excel_server.rb druby://windows_pc_name:12345 Press any key to quit.となるはずだ。これでサーバ側の準備 OK。 クライアント側 % irb --simple
Excel ファイルの内容を Ruby を使って高速取得する - Rails で行こう！ - Ruby on Rails を学ぶ
Rails には直接関係ない小ネタをひとつ。 Excel の中身を Ruby のプログラムから参照したいことがある。これは、次のように実現できる。win32/clipboard と win32ole という2つのライブラリを使う。 require 'rubygems' require "win32/clipboard" require 'win32ole' excel = WIN32OLE.new('Excel.Application') excel.visible = false excel.displayAlerts = false excel.workbooks.open 'filename' => 'C:\test1.xls' workbook = excel.workbooks(1) sheet = workbook.sheets(1) sheet.select excel.ce
Tutorial in Ruby on Rails
初心者としてRailsをはじめることは、IRCの皆さんの助けがなければ難しいことでした。IRCには著者が非常に頻繁に出入りしているので、つまずいたときに助けを求めるにはいい場所です。 とは言うものの、サンプルコードは同じ重さの金と同じ価値があります。そこで、基本的なRailsアプリケーションの動かし方を以下に示します。 最初にRailsを始めるをチェックしてください。それからインストールのコツのためにhttp://api.rubyonrails.org/を読んでください。いくつかはここで繰り返しますが、そこは私の原点です。 必要なもの Windowsでは単純にInstantRailsを使うことで、多くのインストールの問題をスキップすることができます。 Apache 1.3.x または 2.x (もしくはFastCGI?が使える、mod_rewriteのようなモジュールを持った任意のWebサ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
社長が訊く『すれちがい通信中継所』｜ニンテンドー3DS｜任天堂
TecTec Cloud - てくてくクラウド-Cloud technology technique Blog-
Skip