RubyでWebスクレイピングの話をしてきました。第1回Webスクレイピング勉強会@東京 - プログラマでありたい
ちょっと間が空きましたが、第1回Webスクレイピング勉強会@東京に参加して、LT枠でRubyでWebスクレイピングの話をしてきました。 Rubyで始めるWebスクレイピング from Takuro Sasaki 今まで全く参加したことがないレイヤーの勉強会だったので、新しい発見があり非常に勉強になりました。スクレイピングのAPIであるkimonoやimportioなど、全く知らないサービスに出会えました。私は趣味でスクレイピングをしているのですが、本職としてやっている方のノウハウや悩みどころを聞けて参考になりました。 また、資料中に書いているのですが、現在Rubyでクローラーを作る本を書いています。一応全編書き終えてるので、夏頃に出ればなぁという状況です。そして、東京に異動することになりました。勉強会に参加しやすくなるので、色々な所に顔をだしてみたいと思っています。 ちなみに第2回Webス
あらためてRuby製のクローラー、"anemone"を調べてみた - プログラマでありたい
３年ほど前に、Ruby製のクローラー"anemone"を紹介しました。その当時から完成度が高く、Rubyでクローラーを使う場合はanemoneを利用してきました。最近、他に新しくて良いのがないか調べましたが、機能面の網羅性という意味でanemoneを超えるものは見つけられませんでした。そこで改めてanemoneのソースを読んでみたところ、クローラーが必要とする機能を必要最小限で実装され、やはり中々良い出来です。冬休みの宿題ではないですが、勉強の意味を兼ねてソースを追っていくことにします。 Anemoneが利用しているライブラリ一覧 anemoneが利用しているライブラリは、４種類に分類できます。 Ruby標準or一般的なライブラリ データ取得で利用しているライブラリ データ解析で利用しているライブラリ データ保存で利用しているライブラリ この分類別に構造をみるとわかりやすいので、順番に追っ
オープンソースのRubyのWebクローラー"Anemone"を使ってみる - プログラマでありたい
Webサイトの調査をしようと思い、サイトクローラーが必要になりました。 各言語ごとに色々あるので何を使うか悩むところですが、Rubyでお手軽にということでAnemoneを採用しました。 ちなみに他の言語だと、下記のうちのどれかが良いのではないでしょうか？ Java：Nutch、S2Robot Perl：Gungho 余談ですが日本語で検索する場合、WEBクローラーで検索するかWEBスパイダーで検索するか悩みます。英語だとWeb SpiderかWeb Crawlerです。どちらかといえばWeb Spiderが一般的のようです。日本だとWEBクローラーの方が目的のものに辿り着きやすいような気がします。うーん、悩ましい。 Anemoneのインストール手順 Anemoneは、nokogiriを使います。 nokogiriが入っていれば、すんなりインストールも出来ると思います。 ちなみにnokogi
橋本商会 » Jawbone UpのAPIで睡眠時間などを取得する
oauth2で認証してからjawbone gemを使う。 ここに置いてある https://github.com/shokai/jawbone-up-api-study 腕輪型アクティビティロガーのAPI 腕輪型アクティビティロガーではJawbone Up、FitBit、FuelBandの3つが有名だと思う。どれもAPIがある。 JawboneがOAuth2、FitBitがOAuthで認証して詳細なデータが取得できて、APIもいろいろあって遊べる。作ったアプリを他人に使ってもらいやすい。 Nike FuelBandは野良開発者は自分のバンドしかデータが取れず、しかも詳細な数値はナイキのパートナーしか取得できないようだ。遊べない。 Jawbone Up24（Bluetooth LEでiPhone/Androidと同期するやつ）はwebhookのURLが登録できて、OAuth2で読み取り権限を
Ruby概論のスライドがすばらしかったのでまとめてみた(第一部)
Spice Lifeの五十嵐邦明さんの一橋大学のRuby概論スライドがかなりすばらしかったのでまとめてみました。こんなキャッチーな資料がネットで手に入るというのは本当にありがたい限りです！ (05-02 07:45) MATSUOKA Koheiさんの2014年度の講義資料を追加 ちなみに、スライドがたくさんあるので3部作ですw (1)『Ruby概論のスライドがすばらしかったのでまとめてみた(第一部)』<= 今ここ< strong> (2)『Ruby 概論のスライドが素晴らしかったのでまとめてみた(第2部)』 (3)『Ruby 概論のスライドが素晴らしかったのでまとめてみた(第3部)』 🗻 2014年ブログ一橋大学でRubyの非常勤講師をはじめました MATSUOKA Koheiさんが講師をされている2014年に現在開催中のRuby講義の資料です。勉強になります！ Ruby講義第1回：
N-gramで文字列の類似度を測る
とある2つの文字列がどれぐらい似ているのかを比較するにはどうすればいいのかを調べる必要があったので、ネットで検索してみました。 perlにはString::Trigramというモジュールがあるようです。 String::Trigram でテキストの類似度を測る rubyで同じようなものが見つからなかったので、取り急ぎ作って見ました。 #!/usr/bin/ruby #類似度の比較 class String def ngram(string, part_len = 3) string = string.dup.gsub(/[\s\n ]+/u, "") strlen = string.split(//u).length points = [] source = self.gsub(/[\s\n ]+/u, "") srcarr = source.split(//u) sourcelen =
Rubyで並列処理が簡単にできるgem parallel - 酒と泪とRubyとRailsと
require 'rubygems' require 'parallel' require 'open-uri' require 'digest/md5' urls = [ 'http://farm4.staticflickr.com/3052/3086132328_e2041be795.jpg', 'http://farm7.staticflickr.com/6053/6312937936_cebaf2feb9.jpg', 'http://farm1.staticflickr.com/54/131841577_0e67642c02.jpg', 'http://farm3.staticflickr.com/2293/2266151759_058e732577.jpg' ] Parallel.each(urls, in_threads: 2) {|url| puts "start downl
Rubyで複数並行なクローラをすっきりと書けるライブラリ「cosmicrawler」をgemとして公開した - koeだめ 過去アーカイブ[〜2013-12-14]
http://rubygems.org/gems/cosmicrawler ソースは、https://github.com/bash0C7/cosmicrawler gem install cosmicrawlerするとか、Gemfileにgem 'cosmicrawler'と書いてbundle installするとかした後、 require 'cosmicrawler' Cosmicrawler.http_crawl(%w(http://example.com/1 http://example.com/2)) {|request| get = request.get puts get.response if get.response_header.status == 200 } という感じにブロックを渡すだけで、デフォルトでは８並行でババッとクロールすることができます。 もしもっと平行数
![Rubyで複数並行なクローラをすっきりと書けるライブラリ「cosmicrawler」をgemとして公開した - koeだめ 過去アーカイブ[〜2013-12-14]](https://cdn-ak-scissors.b.st-hatena.com/image/square/d81bedcb3ba405f608e549e2b685f27cb730ae8a/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117126976353052%2F17680117126976357176%2F1550818887)
Rails開発で有用な便利Gem一覧 - Qiita
Rails Advent Calendar 6日目。 Railsで普段使うようなGemも、Rails2系から3系への移行で大分デファクトのGemなども入れ替わったり、新しいGemが台頭して来たり、RailsやRubyを使う上では切っても切れないGem達。 なので、現在、主に自分が使用しているGemの一覧を紹介します。 普段Railsを使っている人にはあまり目新しいものは無いと思いますが、これからRailsを始める人がとりあえず知っておくと良いかも、みたいな観点でピックアップしてみました。 ※2012/09/06時点 Rails3.2.8対応 DBアダプタ sqlite3 pg mysql2 おなじみ。各種DB用アダプタ。Railsデフォルトはsqlite3。 ログイン認証 omniauth omniauth-twitter omniauth-facebook omniauth-github
橋本商会 » Rubyで文字列のレーベンシュタイン距離を計算する
文字列同士がどれだけ似ているかを計算できると便利。 例えば “uri” と “url” の距離は1というふうに計算できるので、名前を間違えた時の候補のサジェストとかに使える。 編集距離とかでググるとみんながんばってRubyで計算してるけど、levenshteinというgemを使ったら簡単だった。 gem install levenshtein require 'rubygems' require 'levenshtein' p Levenshtein.distance("erik", "veenstra") p Levenshtein.distance("shokai", "shokai") p Levenshtein.distance("ahokai", "shokai") p Levenshtein.distance("shokai", "ahokai") p Levenshtein.
MongoDBにRubyからアクセスできるMongoRecordを使ってみている - 平凡なエンジニアの独り言 はてなブログ出張所
ゲームを作れるウェブサービス - Rmakeでは、MongoDB : C++ で書かれた高速なドキュメント指向DB （ヽ( ・∀・)ノくまくまー(2009-07-02)）にて紹介されているMongoDBとMongoDBにRubyからアクセスできるMongoRecordを使ってみています。使った感じが良かったので、簡単な使用例と適用方法を紹介します。 元記事を読んでMongoDBとMongoRecordのセットアップが終わっている人向けです。ただ、MongoRecordのインストールは以下のInstallationを読んでおく方が良いかもしれません。 mongodb's mongo-activerecord-ruby at master - GitHub 検索関係 NoSQLなDBを使う場合、どれくらい検索機能が充実しているかが一番気になります。MongoDBはトランザクションを扱うことには
Write cross-platform native apps in Ruby | RubyMotion
RubyMotion lets you quickly develop cross-platform native apps for iOS, Android and OS X, all using your favorite editor and the awesome Ruby language you know and love. Let's see how RubyMotion works I'm a developer You will feel at home. RubyMotion features a statically-compiled version of the Ruby language designed for native mobile platforms, as well as a command-line based extensible toolchai
RubyMotion、はじめの一歩 - Watson's Blog
RubyMotion は MacRuby をベースとした、Ruby で iOS アプリを開発するための枠組みを提供します。これまで、iOS アプリを開発するために Objective-C や、JavaScript で開発できる Titanium Mobile などが利用されてきましたが、これからは Ruby でも iOS アプリを開発することができます。 RubyMotion をインストール インストールパッケージをダウンロードしてインストールすると、RubyMotion は /Library/RubyMotion にインストールされます。また、コマンドラインツールとして /usr/bin/motion というシンボリックリンクが作成されます。 /Library/RubyMotion にインストールされるディレクトリ構成は以下のようになります。
RubyMotion で簡単な iOS アプリを作ってみよう - Watson's Blog
今回は、RubyMotion で簡単なアプリを作ってみます。ここでは簡単な「StopWatch」アプリケーションを作成し、RubyMotion でどのように iOS アプリを作成するのか説明したいと思います。 StopWatch アプリの簡単な仕様は、 start ボタン、stop ボタンとタイマーの値を表示するラベルを持っています。 start ボタンが押されると、タイマーがスタートします。 stop ボタンが押されると、タイマーを停止します。 タイマーが動作中の値を 0.1 秒刻みでラベルに表示します。 です。 新規アプリを作成する RubyMotion をインストールしたときに、/usr/bin/motion というコマンドがインストールされます。このコマンドを使用して、新規アプリのひな形を作成します。Terminal で次のようにコマンドを実行するとひな形が用意されます。 $ mo
A Ruby client for Redis
redis-rb A Ruby client library for the Redis key-value store. A note about versions Versions 1.0.x target all versions of Redis. You have to use this one if you are using Redis < 1.2. Version 2.0 is a big refactoring of the previous version and makes little effort to be backwards-compatible when it shouldn't. It does not support Redis' original protocol, favoring the new, binary-safe one. You shou
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ARGVの処理にOptionParserを使ってるライバルをバックミラーから高速に消し去るARGV.getoptsの使い方 - Qiita
Powpark
How to run ruby files in sublime-text-2
GitHub - mynyml/watchr: Modern continuous testing (flexible alternative to Autotest)
http://jimneath.org/2011/03/24/using-redis-with-ruby-on-rails.html