Webサービスのプログラミングに必要なことのだいたいは、スクレイピングに学んだ - Line 1: Error: Invalid Blog('by Esehara' )
この記事を読み始める前に Rubyでやるんだったら、ちょうどそういう本が出ているから、その本買えばいいのではないでしょうか。 Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例 作者: るびきち,佐々木拓郎出版社/メーカー: SBクリエイティブ発売日: 2014/08/25メディア: 大型本この商品を含むブログ (1件) を見る はじめに プログラミングを勉強し始めて、だいたい基礎的な文法を覚えたあとに、次に何をしようかな、と悩む人も結構多いみたいで、明確に「これを作りたい」という場合は、それを作ればいいとは思うんですけど、場合によっては、別段作りたいものが無く、漠然としたプログラミングをしたい、という熱意によって勉強しているという人もいるのではないかと思います。 で、もちろん「作りたいものがないのに、プログラミング勉強してどうするの」という意見もあるかとは思いますが、往
プログラミング・レスで5分でサックリWebスクレイピング「kimonolabs」 - プログラマでありたい
「Rubyによるクローラー開発技法」で付録か何かで書こうか悩んだ末に書かなかったのが、kimonolabsの話です。kimonolabsは、クローラー／スクレイピングをオンラインで実行できるWebサービス（SaaS）です。クローラー本を書いておいて何ですが、９割の人は自分でクローラーを作らずに、この手のサービスを利用すれば事足りると思います。（書かなかった理由は、Ruby縛りサービスの継続性とスケジュールの問題です。主に最後） kimonolabsとは？ kimonolabsは、先述のとおりWebスクレイピングをしてくれるSaaSです。会員登録してChromeの拡張をいれれば、すぐに使えるようになります。一般的に、Webスクレイピングする場合は、次のような手順が必要です。 対象ページのダウンロード ダウンロードしたページから、特定の箇所を抜き出す 抜き出したデータの保存 対象ページのダウン
進化する“Webスクレイピング”技術の世界 ― ＠IT
2007/02/20 WebサービスのAPIやRSSフィードを使って複数サイトのサービスや情報をマッシュアップ――。これはWeb2.0が包含するいくつかの概念のうち、最も重要なものの1つだ。Amazon.comやGoogle、Yahoo!、楽天といった大手Webサイトは、RESTやSOAPを用いたAPIを公開しており、さまざまなサービス提供者や個人がAPIを通して各種サービスを利用している。その一方、世の中のWebサイトの大多数はWeb1.0的なHTMLやCGIフォームしか提供していないのが現実だ。こうした背景からWeb1.0サイトから構造化されたデータを引っ張り出す“Webスクレイピング”技術が急速に発展してきているようだ。 HTMLをXML化し、XPathで関連データだけを抽出 例えば価格情報サイトでは製品名から価格が簡単に調べられるが、Webサーバから提供されるのは、製品名や価格にレ
Ruby Hacking Guide を Kindle で読めるようにする - Stats of the Rivers
Rubyソースコード完全解説 という本があります。 その名の通り Ruby 処理系のソースコードについて解説もので、 Ruby Hacking Guide (略して RHG) という名称でも知られています。 他に類を見ない日本語で書かれた言語処理系ソースコード解説ということで非常に貴重な本です。 さて、この本は2002年に出版され、残念ながらすでに絶版となっているこの本ですが、ありがたいことに2004年に著者の青木峰郎さんが HTML 形式で本文を公開*1されていて、今でも全文を読むことができます。 でもやっぱり Kindle で読みたいので Kindle 用の .mobi ファイルをつくることにしました。 基本的には、以下の流れで .mobi ファイルを生成します。 RHG の HTML 版のアーカイブをサポートページからダウンロードする .mobi ファイル生成のためのコマンドラインツ
Slim - A Fast, Lightweight Template Engine for Ruby
doctype html html head title Slim Examples meta name="keywords" content="template language" meta name="author" content=author javascript: alert('Slim supports embedded javascript!') body h1 Markup examples #content p This example shows you what a basic Slim file looks like. == yield - unless items.empty? table - items.each do |item| tr td.name = item.name td.price = item.price - else p | No items
昨今の自分用Webアプリケーションひな形 - naoyaのはてなダイアリー
ちょっと jQuery と簡単なサーバサイドの処理を組み合わせた処理を試しに書いてみよう･･･なんて時に、いちいち jQuery を取ってきて HTML を書いて script タグを書いてロードして sinatra 立ち上げて云々･･･というのが毎度面倒なので、ひな形になるアプリケーションを作った。 https://github.com/naoya/boilerplate ひとまず sinatra でサーバーサイドを書き、HTML は slim で、CSS は sass 。JavaScript は CoffeeScriptで書くにあたって jQuery、underscore、Backbone をロードしてある、というような構成にしてあります。 まあ、この類のことは人それぞれ自分なりにカスタマイズしてやっていると思いますが、どういうコンポーネントで構成しているかを、備忘録も兼ねてちょっと紹
たった3行のコードでひたすらアイドル水着画像をあつめる（Rubyだよ） - maeharinの日記
追記: C言語版書いた! 僕が参加していたUT Startup Gymの大先生である@tushuheiさんが、たった10行のコードでひたすらアイドル水着画像をあつめるという刺激的なエントリを書いておられたので、対抗したくなった ＿人人人人人 人人人人人人人＿ ＞Rubyなら3行で書けるっ！＜ ￣Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^￣ require 'open-uri' url = "http://matome.naver.jp/odai/2135350364969742801" open(url).read.scan(%r{<img src=".+".*?class="MTMItemThumb".*?/>}) {|m| puts m} 終わり！ 後はターミナルで $ ruby crawler.rb > photos.html $ open photos.htmlぐははは！ Ruby素
静的サイト生成という「古くて新しい手法」の復活 - モジログ
この数年くらいで、主にプログラマのあいだに、「静的サイト生成（static site generation）」への人気が復活しつつあるようだ。 「静的サイト生成」の「静的サイト（static site）」とは、ウェブサイトのすべてのページが、あらかじめHTMLファイルになっているようなウェブサイトを指す。データベースなどを使わず、HTMLファイルを手作業で作っているようなサイトは、すべて「静的サイト」である。 「静的サイト生成」とは、手作りで「静的サイト」を作るのではなくて、HTMLファイルをプログラム的に「生成」する手法を指す。データベースやテキストファイルにある「データ」と、デザインを定義する「テンプレート」をプログラム的に結合して、HTMLページを生成する、というのが典型的な手法だ。この生成プロセスを受け持つソフトウェアが「static site generator」である（以下、こ
俺の最強ブログ システムが火を噴くぜ
ブログを「はてなダイアリー」から、自分のサーバーに移転しました。 せっかく移転するなら、2012 年の流行を取り入れた挑戦的なブログにしてみたい！と思い、構想から半年、ついにこの日を迎えることができました。 せっかくなので、凝ったところを自慢させてください。 これが俺史上最強のブログ システムだ ブログ システムとして Jekyll を採用 Jekyll のプラグインを自作 (はてな記法対応、英語ブログとの統合) 履歴管理は GitHub を利用、git push で自動でデプロイ コメント欄には DISQUS を採用、旧ブログへのコメントはインポート済み HTML5 マークアップ、CSS3、レスポンシブ Web デザインでのモバイル対応 盛りだくさんですね。 詳しく説明していきます。 ブログ システムとして Jekyll を採用 最近では WordPress を選ぶのが普通でしょう。Wo
HTMLメールを簡単に作成する·Premailer MOONGIFT
PremailerはWebサイトのURLからHTMLメールを生成するソフトウェアです。 日本では普及はまだ今ひとつですが、海外ではHTMLメールが当たり前になっています。ビジュアル的にも映えるのでレスポンス率も高いようです。そんなHTMLメールを手軽に作成できるのがPremailerです。 作成画面です。取り込むWebサイト、リンクに追加するパラメータ、その他オプションがあります。 こちらが取り込む対象のWebサイト。 実行しました。 こちらが生成されたWebサイト。デザインはほぼそのまま、スタイルシートが取り込まれています。 こちらはプレインテキスト版。 PremailerはベースになるHTMLをWebサイトから取得するので、作成がそれほど難しくありません。そして取り込んだHTMLから不要な情報を除きつつ、スタイルシートを埋め込んでHTMLメールの基盤を生成します。後は生成されたHTML
一生涯はてな記法しますか？それともMarkdownしますか？
はてなダイアリー はてなダイアリーでははてな記法という、HTMLの簡略記法が使えます。この記法を利用することで簡単に整形された日記を書くことができます。私も６年間はてなダイアリーと、はてな記法のお世話になりました。 しかしはてな記法は、はてな独自の簡略記法なので他では使えません。従って一つの不安がよぎります。 この先もし10年、20年とブログを書き続けるとしたら、それははてな記法でいいのかと。 はてなダイアリーには別の不満もあります。次のようなものです。 HTML整形後の文章をローカル環境で確認できない。 記事に変更が生じてWeb上で直接編集した場合に、ローカルデータと内容が不一致となり、その管理が煩雑となる1。 あんなにサンプルがあるのに、イケてるデザインが見当たらない2。 基本的にサイトが重い。 Github Pages + Jekyll そんな理由から私はGitHub PagesとJ
Rubyやってみる！（新おっぱいスクリプトもあるぉ） - ゆーすけべー日記
某プロジェクトでRuby on Rails使うっていぅんで 「アジャイルWebアプリケーション開発」本なんて買ってチュートリアルとかやってます。 ただ、Ruby自体なにも分からないので、Rails覚えてもどれだけできるかがよく分からなす。 ってことでRubyを勉強する！と先ほど書いてみた4つのスクリプトをご紹介。間違ってたらツッコミよろしくおくんなまし。 とはいえ簡単なやつだよ！でも新しいおっぱいダウンロードスクリプトもあるよ！ open-uri.rb まずは、Perlで言うLWP的なもの、つまりHTTPクライアントでこの日記のHTMLを取得してみるよー。 あら、簡単だねっ。 require "open-uri" html = open("http://yusukebe.com/").read; p html twitter-search.rb お次に「お得意の」APIを叩く系をやってみる
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
自分でWEBサービスを作りたいと思っている人へ