Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ
今まで何度もスクレイピングとかクローリングをしてきたので、マエショリストの端くれとしてコツを公開すべきかなあ、と思い、公開します。 今日の題材は、CNET Newsです。私はウェブ文書にタグ付けをするという研究をしているのですが、そのための教師データとしてクローリングをします。 photo by Sean MacEntee 要件定義 CNET Newsから全ニュースを保存し、その本文をデータベースに保存します。これは、次のようなフローに書き下すことができます。 全URLを取得し、データベースに保存 データベースにある全URLをダウンロードする 保存した全ページを解析して、本文をデータベースに保存する という流れです。これらは独立していますから、それぞれどの言語で解析しても構いません。しかし後述しますが、「あとから追いやすくする」「適材適所」といったあたりを気をつけて、言語選択をするべきだと
作ってみたものの飽きそうなWebアプリはherokuで動かしておく - はこべにっき ♨
合宿で heroku 使ってたチームがあって、とても便利そうだった。昔、Node.jsで画像アップローダをつくったんだけど(node.jsでtrayという画像アップローダを作った - はこべブログ ♨) 自分のVPSで雑に動かしていて、飽きてしまうとあんまり気にしなくなって、止まっても放置したりしてた。それくらいであれば、herokuで一旦動かすようにしておけば、可用性は担保されるだろうと思い立ち、herokuで動作させることにした。 動いている様子はこちら: http://imagetray.herokuapp.com/ 左上のマスに画像をドラッグ・アンド・ドロップすると画像がアップロードされる。誰かがアップロードするとリアルタイムに更新される。コードを更新したり、しばらくだれも使ってなかったりして、herokuのホストがrestartされると、アップロードされた画像は消えてしまう、刹那
そしてオタクたちは、また迫害されていく - 狐の王国
人間という生物の性行動に興味を持ったのは、少子化問題だった。なぜある世代の日本という島国に居住する人間たちは子供を作らないのだろうかと不思議に思った。一般的には、景気が悪化して経済状況が厳しいからだと認識されていた。最も、俺が興味を持った頃はまだ、政府や各種組織を束ねる比較的高齢の人間たちは「若者に根性や覚悟がないせいだ」と認識していた。 どちらの認識も、いまいちピンと来ないものだった。俺自身、日本に居住し子供を産まない世代の一人だった。お金があったら産むのだろうか。覚悟や根性があったら産むのだろうか。そう自問自答しても、Yes の3文字は出て来なかった。そもそも「貧乏子沢山」と言われるのに、逆じゃないかとすら思った。 周囲を見ても、比較的収入のいい男性たちがまったく結婚していなかった。恋人もいないか、いても長続きしてないなかった。 なにかおかしいんじゃないか。そう思い始めて手掛かりを求め
Webを支えるプロトコル - ASnoKaze blog
若者のプロトコル離れが叫ばれて久しいが、最近プロトコルは非常にホットな分野である。 目まぐるしく進化するWebに合わせ、プロトコルの世界も着実に進化している。 今までブラウザでは出来なかった事が出来るようになり、Webサービスをより安全に使えるようになった。 そしてWebのパフォーマンスを大きく改善するためにHTTP2.0も議論されている。 Webを支えるプロトコルとして、大きく分けて３つに分けられるかと思う（私の勝手なイメージ、正確な図ではありません） Webアプリケーション ブラウザが今まで出来なかったことを出来るようにしたり、Webアプリケーションの認証・認可などの機能を提供するプロトコルなど。JSやサーバサイドプログラミングで利用したりする。 WebSocket (http://tools.ietf.org/html/rfc6455) ブラウザとWebサーバの間でソケット通信を行う
NISAで買いたい15万円以下でもらえる株主優待銘柄ランキングBEST10 - サラリーマン休日副業で月10万円以上目指すページ
いよいよ2013年も今日で終わり。 2013年はアベノミクス効果で株は一本調子に上昇を続け、期待を上回る大きな利益を得ることが出来ました。 2014年は消費税増税などの影響もありこの上昇相場がさらに継続することは考えにくいですが、貯蓄から投資へ資金が向かいデフレから確実に脱却している風潮は感じられます。 2014年からNISAが始まります。年間100万円分までの投資枠が完全非課税になるという制度です。これを気に株式投資を始めようと思った方も多いのではないでしょうか。 来年から始まる大型節税策NISA口座開設手続きはもうお済み？制度徹底詳説＆各社比較結果 - サラリーマン休日副業で月10万円以上目指すページ でも銘柄が多すぎて口座開設をしたのはいいがどの銘柄を買えばいいのかわからん！という方は株主優待を実施する企業をオススメします。株主優待は株を持っている人だけに配られるオマケみたいなもんで
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
