twitter検索はpublic_timelineをスクレイピングする方法でポストを収集していました。 これはうまくいっていたのですが3月のはじめにAPIによるアクセスに続いて通常ページもキャッシュされるようになり、ポストの取得がとびとびになってしまいました。影響はかなり出てしまい、回収率は1/10程度に落ち込んでしまいました。 代替策 TwitterはData mining feedという600ほどのポストを一度でもらえるAPIを提供していてポストを多く集めたい人はそれを使うようにというアナウンスをしています。しかしこれもキャッシュが効いているようですからそれほど改善しないのではないかと思い試していません。 また、既に事実上日本語のみを検索対象にするサービスになっているので日本語ユーザーのポストだけもらえればいいかと思い、日本語ユーザー（7万人前後）をRSSで取得する方法を考えましたが、

今年も多くのサービスや話題を提供してきたGoogle。Google Code Blogの23日付けエントリーにおいて、Googleが2008年に発表したサービスの総括が述べられてる。 同ブログでは、今年新たにリリースしたサービスとして以下の7つをあげている。 App Engine Googleのインフラ上でWebアプリケーションの実行／開発が行えるホスティングサービス。4月に限定公開、5月に一般公開した。一般公開時には、15万人以上がウェイティングリストに入っていたという。現在はプレビュー版となっており、無料で利用できる。年明けには有料プランも開始される予定となっている（参考リンク：15万人が待っていた、「Google App Engine」一般公開）。 Web Toolkit 1.5 JavaでAjaxアプリケーションを作成するための開発ツール。8月末にリリースされたバージョン1.5から

はじめに 一般的なWebアプリケーション開発では、「Webクリエイター」と「Webプログラマ」という役割が存在します。Webクリエイターは画面表示に関するデザインやマークアップを担当し、Webプログラマは、動的処理機能の構築を担当しています。最終的にそれぞれのリソースの結合が行われ1つのサイトが完成します。 最近では、“リッチクライアント”というキーワードで語られる豊かなユーザーインターフェースを持ったWebアプリケーションの開発がトレンドとなっており、かつてサーバサイドでの技術を発揮していたプログラマにもクライアントサイドの知識や技術が要求されるようになってきています。こうした状況の中で、Webプログラマが効率的な開発を行い、新しい技術に挑戦するために今までの構築手法や開発工程を見直す必要がでてきました。 本稿では『システムの構造的に優れた設計』だけではなく、『あらゆるユーザーに配慮され

そろそろ落ち着いて来たころ合いなので、はてなブックマーク全文検索機能の裏側について書いてみることにします。 PFI側は、8月ぐらいからバイトに来てもらっているid:nobu-qと、id:kzkの2人がメインになって進めました(参考: 制作スタッフ)。数学的な所は他のメンバーに色々と助言をしてもらいました。 はてな側は主にid:naoyaさんを中心に、こちらの希望や要求を聞いて頂きました。開発期間は大体1〜2か月ぐらいで、9月の上旬に一度id:naoyaさんにオフィスに来て頂いて合宿をしました。その他の開発はSkypeのチャットで連絡を取りながら進めてました。インフラ面ではid:stanakaさん、契約面ではid:jkondoさん、id:kossyさんにお世話になりました。 全文検索エンジンSedue 今回の検索エンジンはSedue(セデュー)という製品をベースにして構築しています。Sedu

Googleが、Webブラウザ上でネイティブバイナリコードを実行する「Native Client」を公開した。 Native Client http://code.google.com/p/nativeclient/ Google Earth,Quakeなどがすでに動いているようだ。 これはすごい！ブラウザ上でX86バイナリを動かす「Native Client」 http://www.moongift.jp/2008/12/native_client/ サンドボックスで安全性確保、オーバーヘッド5％ ブラウザでx86バイナリ実行、グーグルが新技術 http://www.atmarkit.co.jp/news/200812/09/nacl.html あと、サンプルのlife.ccにSDL_surfaceと書いてあるのでSDLの描画まわりが既に動いているのだろうから、今後、たくさんのアプリがN

昨日のNative ClientはX86バイナリをブラウザで動作させるという素晴らしいソフトウェアだった。言わばデスクトップをWebに移行させる代物だ。対する技術としてはAdobe AIRやSilverlightなどがあるだろう。だがプラグイン必須という点が難点になる。 Windows向けアプリケーションも開発できる そして逆にWebのリソースをデスクトップに持ってきてしまおうというのがTitaniumだ。Webからデスクトップへとその道はつながっている。 TitaniumはApacheライセンスの下に公開されているオープンソース・ソフトウェアで、Rubyを使ってデスクトップアプリケーションが開発できてしまう。 Titaniumが手掛けるものはAdobe AIRに近いと言える。ただしRubyをベースにしているのでWebプログラマにとってはさらに開発しやすいかも知れない。モバイル対応もうたっ

はじめに Google から、非常に面白そうなソフトウェアがリリースされました！ その名も Native Client なんとブラウザ上で X86 のバイナリを動かしてしまうそうです。 これはすごい！ さっそく試してみたいと思います。その過程を逐次更新していきます。 自分が試したときの環境 自分が試す環境は、以下の通りです。 Mac OS X Xcode の gcc (version 4.0.1 (Apple Inc. build 5465)) python 2.5.1 準備 では、さっそく準備をしましょう。 http://nativeclient.googlecode.com/svn/trunk/nacl/googleclient/native_client/documentation/getting_started.html を参考にやってみます。 環境一式をダウンロード まずは、以下

最近じゃmemcachedを活用してデータベース(RDB)の負荷を下げるって話、そこらじゅうから聞こえてくるけれど、memcachedの活用は、格納オブジェクトの”粒度”（granularity）がキモだと思ってます。 memcachedは、KeyとDataをペアで格納して、Keyが与えられると、関連付けられたDataを返すだけのシンプルなシステム。PerlやPHPの連想配列と同じ。このmemcachedをRDBのキャッシュとして活用してやる場合、memcachedに格納するキャッシュデータの単位、”粒度”をどう設計するかが重要になってくる。 RDBの場合、格納されるデータはRow(レコード)単位。じゃぁキャッシュもRow単位で作ってやればいいのかといえば、それではうまくいかないケースもたくさんある。RDBでは専用の問い合わせ言語であるSQLを使って、 SELECT * FROM hoge

本特集では、CVSやSVNといったバージョン管理システムの使い方や、SSH/SCPによるリモートログイン/ファイル転送など、ソフトウェア開発プロジェクトを進めるに当たって覚えておくと便利な知識を紹介する。これらを知っておくと、よりSourceForge.JPを便利に活用できるだろう。 しかし、新しいWebブラウザではCSSやHTMLといったWeb標準規格への対応が進んでおり、またWeb開発を支援する機能やツール、プラグインなども登場してきている。そこで本特集では、それぞれの最新Webブラウザが対応しているWeb標準規格を比較したり、異なるWebブラウザでも同様の見栄えを確保するためのテクニックの紹介、Web開発に役立つ機能やツールの解説などを行う。また、最近注目されているiPhoneに向けたWebサイトの最適化についても紹介する。 Windows環境でのSSHの利用とSSH鍵の作成 200

>>Mashup Awards 4応募締め切りは9月16日！ Mashupは本当に有効な開発モデルなのか Mashupは、ネットワーク上にデータを提供する複数のWebサービスを活用し、1つのWebアプリケーション、または新たなWebサービスを開発、構築する手法です。Mashupという言葉は、複数の音源を利用し新しい音源、楽曲を生み出すという音楽用語に由来しています。 このMashupというWebアプリの開発手法は、今後さらなる発展を遂げていくテクノロジー（開発手法）なのでしょうか。それとも廃れて忘れ去られていく数多くのテクノロジーの一部なのでしょうか。 Mashupの現状を確認する 注目されているテクノロジーを理解する時に、そのテクノロジーがHype Cycleのどの状態と認識されているかを確認しておくことは、テクノロジーを冷静に眺める上でとても有益です。 Hype Cycleとは、新しい

“アルゴリズム”は、もっとも非人間的なものの代表だともいえる。ソーシャルメディアにとって、そのアルゴリズムが不可欠だというのは、実に皮肉めいている。 僕はこの間、グーグルがどうやってユーザーデータを集めているかについて書いた記事を掲載した（前編、後編）。今回は、著名なソーシャルメディアサイトが、ユーザーデータを活用する上でどのようにアルゴリズムを用いているのか、白日の下にさらそう。 ソーシャルメディアを成り立たせているのは人間の力だが、ユーザーが入力したデータを利用できる状態にする仕組みは、アルゴリズムによって作られている。現在活動している無数のソーシャルメディアサイトで実証済みのことだが、ユーザーの関与とアルゴリズムによる処理ルールの上手いバランスを見出すことは、とても難しくなりがちだ。これから紹介するアルゴリズムは、悪意のないユーザーと結びついて初めてうまくいくものだ。 人気ソーシャル