クローラーを作るためのフレームワーク·Anemone MOONGIFT
RSSフィードやWeb API、Mashupなどの単語が注目を集める中、Webクローラーを通じて外部のWebサイトにあるデータをかき集め、それを解析して別な形にするというのはよく見られるものになってきた。 あるURLを指定し、そこからリンクされているURLを一覧表示できる そうした数々のシステムの中で、クローラーとなる基盤は大きな違いはない。Webサイトのデータを取得し、次のリンクを洗い出して取得していくようなものだ。そうした共通動作部分を切り出したフレームワークがAnemoneだ。 今回紹介するオープンソース・ソフトウェアはAnemone、Webクローラを開発するためのフレームワークだ。 Anemoneは任意のWebサイトにアクセスし、その内容を解析するWebクローラーだ。例えばあるURLに付けられているリンクを一覧で取得するようなことも簡単にできる。外部サイトなのかどうかも区別できるの
Google Chrome OS のご紹介
メディア関係者向けお問い合わせ先 メールでのお問い合わせ: pr-jp@google.com メディア関係者以外からのお問い合わせにはお答えいたしかねます。 その他すべてのお問い合わせにつきましては、ヘルプセンターをご覧ください。
Interopクラウドコン優勝は「えとらぼ」分散key-valueストレージ kumofs - Blog by Sadayuki Furuhashi
InteropTokyo 2009 クラウドコンピューティングコンペティション（通称クラウドコン）は、我等がえとらぼチームが優勝しました！ 実行委員･StarBEDプロジェクト･IBMの皆様を始め関係者の皆様、ありがとうございました。 プレゼンテーションムービーとポスターとパンフレット*1を公開しました。 プレゼンムービー（マウスクリック/矢印キーで進む） PDF版 ポスター パンフレット *2 …どれも相当に気合いが入っているので、ぜひご覧ください^^ Ustream.tvの録画もあります（えとらぼチームはちょっと細切れですが） 途中で行ったデモは、StarBEDの45台の物理サーバーを使ってkumofsを動かして、ランダムで選んだノードを自動的にkill/再起動するスクリプトを走らせたものです。サーバーが落ちてもシステムは全然止まらないし、どのサーバーにも均等に負荷が分散されます。 時
Googleが独自OS開発 Netbook向けに「Chrome OS」提供へ
米Googleは7月7日、同社独自のOS「Google Chrome Operating System」を発表した。年内にコードを公開する予定だ。 Chrome OSは同社が昨年リリースしたChromeブラウザの延長線上にある新プロジェクト。同社はChromeを「Webで生活する人々のために設計した」が、Chromeが載っているOSは「Webのなかった時代に設計されたもの」であるため、OSの開発に着手したという。 Chrome OSはオープンソースの軽量OSで、初めはNetbook（低価格の小型ノートPC）を対象とする。Googleは年内にChrome OSのコードをオープンソース化し、同OSを搭載したNetbookは2010年後半に発売される見通しという。 Chrome OSはスピード、シンプル、セキュリティを柱とし、「数秒で起動してWebにつながる」という。ユーザーインタフェースは最小
POSTリクエストをリダイレクトするとGETされる？POSTされる? - はこべにっき ♨
あるURLにPOSTでリクエストを発行した結果リダイレクトされたとき，そのリダイレクトのリクエストはGETなのでしょうか?POSTなのでしょうか? なんとなくGETっぽいけど… そこんとこどうなのか気になったので調べてみました．HTTPとかにはあんまりくわしくないので，おかしかったら指摘していただきたいです． 準備 リダイレクトが発生するレスポンスコードは以下の4つです． 301 MOVED PERMANENTLY 302 FOUND 303 SEE OTHER 307 TEMPORARY REDIRECT HTTP1.1のRFCやその解説によると，POSTリクエストした結果，レスポンスコードが302か307だった場合は，POSTでリダイレクトしたほうが良いようです．でも，ほとんどのクライアントはその決まりを守らずGETでリダイレクトしているとも書いてあります． そこで，Firefox/S
大人の流儀のようなもの - koichiro516の日記 - Land of Hope and Dreams
就活セミナーなるものにパネリストとして引っ張り出された。初めて東大本郷キャンパスへ。研究畑にいれば学会・研究会などで一度くらい足を運びそうな場所だが、なぜか今回が初めて。 セミナー主催者の会社のウェブサイトを見ても、なんだかよく訳のわからない会社でどうしたものかと思ったが、話を持ち掛けてきたのは同業のM氏。彼とのパネルならば面白そうなので行ってみた。M氏と二人で、就活中の学生さんからの質問を時には掛け合いをやりながらこなす。お互い今は新規事業開発に関わっているということで、M氏の受け答えに垣間見える姿勢に共感したり、そういう考え方もあるかと気づいたり。 しかし、こういうおじさんの話は、就活中の学生さんにとってはあまり重要ではないのである。一つ前の就職内定者と学生さんたちとの質疑応答のセッションに比べると、会場の熱気がまったく違う。1時間のディスカッションが終わり、M氏とキャンパス内のカフェ
IT系でも活用しなければ損。論文を読んで広がる知見 - ＠IT
「Java News.jp（Javaに関する最新ニュース）」の安藤幸央氏が、CoolなプログラミングのためのノウハウやTIPS、筆者の経験などを「Rundown」（駆け足の要点説明）でお届けします（編集部） 論文は、難しくない 読者の皆さんの中には、「論文」と聞くと身構えてしまう方も多いのではないでしょうか？ 論文というと、書くのも読むのも大変で何だか小難しいことが書いてあるもののように思えるものです。それどころか、「論文とは縁がない」「プログラムがすべてだ」と思う方もいるかもしれません。しかし、ある特定分野の技術や研究を詳しく知るためには、論文は手軽で確実な情報源です。 よく論文が持つ意味について「巨人の肩の上に立つ」と例えられることがあります。これは、万有引力の研究で知られるニュートンも好んで引用していた言葉だそうです。「現代の学問は多くの研究の蓄積の上に成り立っている」ことを示す言葉
はてな取締役を退任、退職しました - Kossy Memo
個人的なご報告ですが、このたび2009年6月いっぱいで、株式会社はてなの取締役を退任、退職いたしました。 2006年2月に16番目のはてなスタッフとして入社してから3年5か月、本当に密度の濃い時間を過ごすことができました。 仕事を通じてお世話になった方々、そしてはてなユーザーのみなさんに心より御礼申し上げます。 また、入社以来、ユニークで技術力の高いエンジニアをはじめとする、優秀でいい仲間と働くことができたことをとても誇りに思っています。 どうもありがとうございました。 1つの節目と言うことで、簡単に挨拶をさせていただきます。 はてなスタッフとして過ごした3年5か月 最初の1年間は「お金を稼いでくれ」ということで、id:kawasaki, id:mitsuki, id:yosukeと一緒に広告商品の企画、営業を担当しました。 営業経験はあまりない自分でしたが、商品設計の見直し、広告主さん、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
