EventMachineを使ったクローラの書き方の足がかり
Photo by pnoeric いま、PhotoShareで使うために、高速なEvent Driven方式のネットワークライブラリ、EventMachineを調べています。 このEventMachine、ほとんどの場合はサーバを作るときに使われていますが、HTTPクライアントの機能も実装されており、実はクローラの様な物を作るときにも利用することができます。 今回はこっちを使いたかったのですが、ググってもほとんど情報が出てこなかったので、Seattle.rbで相談したところ、Aaronさん(RubyKaigi 2008でプレゼンしているのをustで見てコンタクトしました)からサンプルが貰えたので、それを元に、同時接続する様にしてみました。 このコードだけだと役には立ちませんが、情報が少なかったので参考に上げておきます。 require 'rubygems' require 'eventma
Rubyやってみる！（新おっぱいスクリプトもあるぉ） - ゆーすけべー日記
某プロジェクトでRuby on Rails使うっていぅんで 「アジャイルWebアプリケーション開発」本なんて買ってチュートリアルとかやってます。 ただ、Ruby自体なにも分からないので、Rails覚えてもどれだけできるかがよく分からなす。 ってことでRubyを勉強する！と先ほど書いてみた4つのスクリプトをご紹介。間違ってたらツッコミよろしくおくんなまし。 とはいえ簡単なやつだよ！でも新しいおっぱいダウンロードスクリプトもあるよ！ open-uri.rb まずは、Perlで言うLWP的なもの、つまりHTTPクライアントでこの日記のHTMLを取得してみるよー。 あら、簡単だねっ。 require "open-uri" html = open("http://yusukebe.com/").read; p html twitter-search.rb お次に「お得意の」APIを叩く系をやってみる
Let'sプログラミング
Let'sプログラミングでは初心者の方を対象にJavaやPython、PHP、Rubyなど色々なプログラミング言語の解説を行っています。 Java Java入門 これからJavaを使ったプログラミングの習得を目指している方を対象としたチュートリアルです サーブレット(Servlet) / JSP入門 サーバサイドで動作するアプリケーションの作成方法 Androidプログラミング入門 モバイル向けプラットフォーム Android で動くアプリの作成 Swingを使ってみよう GUIを使ったJavaアプリケーションの作成で使用するSwing入門です Eclipse入門 開発環境として広く使われているEclipseのインストールと活用法 Javadocの記述 ソースコードからHTML形式の仕様書を生成します Apache POIでExcelを操作 Excelファイルの作成・操作
ブログシステム作った - Masatomo Nakano Blog
2010年にもなって自分でブログシステム作るとかあり得ないと思うんだけど、なんとなく作った。完全俺用。 Evernoteと連携 最近すっかりEvernoteどっぷり生活になってる。Webクリップとかはしてなくて、ほとんどがテキストの落書き。で、その中で技術的なメモとかは公開できそうな気がしてるのだけど、どうも公開用に書きなおすのはだるくて放置されてた。で、そのまま公開しちゃえばいいんじゃない？ってのがそもそもの発想。Evernote公式にもそれっぽい機能があるんだけど、どうもいまいちだったんでEvernote APIを使って自分で作ってみた。 それと、過去にも自分の作業ログ的なのを公開していたことがあるんだけど、いくつか問題点があって「一度公開したものを更新しづらい」「自分の手元のバージョンと公開してるバージョン差異」「公開したものを、自分のために見返すときにWeb上の検索はいまいち(ロー
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Rails3 と jQuery で真面目にオシャレなエロサイトをつくってみました
いつぞやの飲み会で、 これだけウェブの技術が進化しているのだから、もっとオシャレなエロサイトがあってもいいんでないかい？ << という話になりまして。 だけどどうせ作るんならということで、Rails3 と jQuery を使って結構マジメにつくってみました。 （※大人の事情により、リンクはやむなく削除しました） 当初はエロにオシャレは必要ないのかなーと思ったときもありましたが、いざつくってみると、やっぱり選べるならオシャレなやつの方ががいいよね、という結論に落ち着きました。 今回つくったのは試験的なものなので 90日間限定でしか公開しないつもりですが、日本のエロサイトが今後もっとオシャレに発展していくきっかけになってくれたら嬉しいです。 以下、サイトのコンセプトや使っている技術についてまとめてみます。 **Rails3 と jQuery で真面目にオシャレなエロサイトをつくってみました 1
これからRubyを始める人たちへ
(追記：2012-12-03) 本記事を電子書籍化しました。「Gumroad」を通して100円にて販売しています。詳細は文末に追記しましたので、購入ご検討のほどよろしくお願いしますm(__)m 電子書籍「これからRubyを始める人たちへ」EPUB版 Rubyの特徴 Rubyは、まつもとゆきひろ氏(通称Matz)により設計されたオブジェクト指向プログラミング言語です。Rubyの特徴を一言で言うならば、それは「間口が広くて奥が深い言語」ということになります。 「間口が広い」というのは、インタフェースがシンプルで誰でもが簡単に使い始められることを意味します。「奥が深い」というのは、プロフェッショナルによる長期使用に耐えうる本物の言語であるということを意味します。「間口が広い」ということと「奥が深い」ということは本来競合する概念ではありませんが、その両方をバランスよく組み合わせるには、対象に対する
コマンド実行はBashよりruby移行がオススメ - それマグで！
shell ライブラリというツールがある。覚えにくい時はこれを使う require 'shell' sh = Shell.new sh.ls "/" sh.transact{ cat "/etc/resolv.conf" mkdir "/tmp/test-1" cat"/etc/resov.conf" > STDOUT } Shell使うと、rubyと通常シェルの区別が限りなく見えなくなってくる。 bashの代わりにrubyはいい選択肢だと思うよ。 参考資料 http://www.ruby-lang.org/ja/old-man/html/shell.html 2012/02/17追記 なんか書いてから3ヶ月後にブクマされまくってる。 transactは正しくはこう sh.transact{system("ls", "-l") | head > STDOUT} 最新版のRubyだと動かなか
“Rubyでビジネス”、九州発の業界団体が設立へ － ＠IT
2007/07/24 “Rubyをビジネスに役立てる”ための技術、ビジネス上のノウハウを共有する業界団体、「Rubyビジネス・コモンズ」が7月31日に設立される。Rubyビジネス・コモンズは、開発者となる個人や企業、ユーザー企業だけでなく、行政や大学関係者を巻き込み、九州の福岡を中心に立ち上がったユニークな団体だ。現在、43の団体が参加表明をしており、リストを見ると、伊藤忠テクノソリューションズ、CKSシステムズなどSIベンダのほか、麻生情報ビジネス専門学校、九州大学などの教育機関、ソネットエンタテイメントや楽天といったユーザー企業もリストに含まれる。九州の福岡を本拠としてスタートするが、地域や業種、法人・個人を問わず参加できる。 7月24日、都内で説明会を開いたRubyビジネス・コモンズ設立準備委員会の代表で、独立系SIベンダEC-Oneの代表取締役社長でもある最首英裕氏は、「今後はWe
pylori*style wiki - LoginEngineを使ってみる
LoginEngineとは? LoginEngineは RailsEnginesの一種で、Railsアプリケーショ ンにユーザ認証の機能を付加するためのものです。 Engine とは、Railsアプリケーションに(既存のコードを変更することなく)い ろいろな機能を付加するプラグインです。 もともと SaltedHashLoginGeneratorという名前でジェネレータとして提供されていたものを Engine として再実装したのが LoginEngine です。 SaltedHashLoginGeneratorとは? SaltedHashLoginGeneratorを使ってみるのページを参照。 なお、LoginEngineもLoginGeneratorも使わずに認証機構を実装した例が、 RailsでWikiクローンを作る10 にありますので、そちらも参考にしてください。 LoginEngi
進化する“Webスクレイピング”技術の世界 ― ＠IT
2007/02/20 WebサービスのAPIやRSSフィードを使って複数サイトのサービスや情報をマッシュアップ――。これはWeb2.0が包含するいくつかの概念のうち、最も重要なものの1つだ。Amazon.comやGoogle、Yahoo!、楽天といった大手Webサイトは、RESTやSOAPを用いたAPIを公開しており、さまざまなサービス提供者や個人がAPIを通して各種サービスを利用している。その一方、世の中のWebサイトの大多数はWeb1.0的なHTMLやCGIフォームしか提供していないのが現実だ。こうした背景からWeb1.0サイトから構造化されたデータを引っ張り出す“Webスクレイピング”技術が急速に発展してきているようだ。 HTMLをXML化し、XPathで関連データだけを抽出 例えば価格情報サイトでは製品名から価格が簡単に調べられるが、Webサーバから提供されるのは、製品名や価格にレ
ruby のスクレイピングツールキット scrAPI - 川o・-・）＜2nd life
http://blog.labnotes.org/category/scrapi/ ruby でスクレイピングして web の情報を取得するのには、今まで正規表現か xpath でやってたので、わりと面倒でした。で、ふと scrAPI というスクレイピングツールキットを知ったのですが、これがかなり便利そう。 このツールキットを使うと、CSS3 なセレクタを記述することで、要素を取得することができます。たとえばとあるサイトのリンクを全部取得したければ、 require 'rubygems' require 'scrapi' require 'open-uri' require 'nkf' require 'pp' $KCODE = 'u' links = Scraper.define do process "a[href]", "urls[]"=>"@href" result :urls e
Webスクレイピング - Sunflat のブログ
最近、Webスクレイピング（ウェブサイトを自動巡回して、ウェブページのデータを必要な部分だけ抽出して利用すること）をするツールを作ったので、スクレイピングに使えそうなライブラリ等のまとめ。 スクレイピング部分はRubyで、GUI部分はJavaで書いたので、RubyとJavaを行ったり来たりで面倒だった。全部Javaで書いちゃえばよかったかなぁ… ちなみに作ったのは、広告代理店のWebページから、広告一覧と掲載用テキストを自動取得するツール。 WWW::Mechanize http://mechanize.rubyforge.org/ Ruby用の、HTTPクライアントライブラリ。仮想的なWebブラウザをプログラムから操作して、ウェブサイトを自動巡回できる。 フォームの読み取りやリンクの抽出などもできて、自動巡回スクリプトがサクっとかける。 ちなみにJavaだと、Commons HTTP C
Labnotes » scrapi
Insanely fast, full-stack, headless browser testing using node.js View the Project on GitHub Download ZIP File Download TAR Ball View On GitHub Zombie.js Insanely fast, headless full-stack testing using Node.js Zombie 6.x is tested to work with Node 8 or later. If you need to use Node 6, consider using Zombie 5.x. The Bite If you’re going to write an insanely fast, headless browser, how can you no
スペシャルインタビュー 世界がRubyを愛する理由 まつもとゆきひろ氏 ネットワーク応用研究所 特別研究員
海外で数十万人と言われるユーザー，二千数百件の関連ソフトウエア開発プロジェクト，数百人が詰め掛ける米国のカンファレンス---オープンソースのオブジェクト指向プログラミング言語Rubyは，日本で生まれて世界で使われる数少ないソフトウエアのひとつだ。なぜRubyは世界の技術者に支持されたのか。 （聞き手は高橋 信頼＝ITpro副編集長，写真は新関 雅士） ―― Rubyは海外に多くのユーザーがいます。 正確な数はわかりませんが，数十万人と言われていますね。もしかしたら100万人以上いるかもしれません。 日本より海外のユーザーのほうが多いようです。メーリング・リストへの投稿量で言うと，英語のものは日本語の約10倍あります。 Ruby専門のカンファレンス(Ruby Conference)は日本よりも海外で先に始まったんです。米国のRubyConfは2001年からから行われています。毎年行われてい
Excelのクラスの説明
Excelが持つクラスにどんなものがあるか、それらのドキュメントの調べ方を説明しておく。 オブジェクトブラウザ RubyからExcelを制御するときには、Excelが持つクラスの構成と各クラスが持つメソッドを調べないといけない。 そのツールには「オブジェクトブラウザ」を使う。 オブジェクトブラウザはExcelのVisual Basic Editorを起動すると利用できる。VB EditorはExcel上で [ツール/マクロ/Visual Basic Editor]メニューを選択することで起動できる。 その後、以下のボタンで「オブジェクトブラウザ」を起動できる。 アプリケーションを選択するリストボックスがあるので、"Excel"を選択する 左下にずらっと並んでいるのがExcelの持つクラスの一覧、右がそのクラスが持つメソッド/プロパティ/イベントの一覧だ オブジェクトブラウザで目的のクラスを
UNIXだってFLASHムービーを作りたい
FreeBSDやNetBSDでも、Macromedia純正のFLASHプレイヤー(ただしFLASH 5)が 動くようになった現在、FLASHはかなりユビキタスな処理系と言えます。 プラグインではなく単体で実行できるプレイヤーも提供されているので、例えば FLASHムービーをMagicPointに埋め込んでプレゼンテーションを作るといった ことも可能でしょう。 しかし再生できるだけでは一人前とは言えません。UNIX環境でもFLASHムービーを 作成したくなるのが人情です。そこで、このページでは、FLASHの概論から始まり、 UNIX上でFLASHムービーを作成する方法について解説します。 FLASHムービーを作成するためには、Mingというフリーのライブラリを用います。 このライブラリは、元もとPHPから利用するものでしたが、PHP以外にもPerl, Ruby, Pyhton, C, C++
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ZENPRE | Simultaneous Video Conferencing, Slideshow Presentations | Fusic CO., LTD.
rails-engines.org - rails engines リソースおよび情報