Introduction to Information Retrieval #6 の復習資料 - naoyaのはてなダイアリー
Introduction to Information Retrieval の6章の復習資料を以下にアップロードしました。 http://bloghackers.net/~naoya/iir/ppt/iir_06.ppt 6章はスコアリング(重み付け)がテーマです。スコアリングの基本として、文章の属性毎に重みを与えてスコアを計算する Weighted zone scoring が最初に紹介されています。次に、文書に含まれる単語に重みを与える方法として tf-idf が話題に挙がります。tf-idf などで各単語に数値を与えられたドキュメントは、各単語の重みを成分とする M 次元 (M は辞書の単語数) のベクトルとみなすことができます。このドキュメントベクトルをM次元空間に展開しベクトル計算でドキュメント間の相関(類似性)を算出する手法として Vector space model の解説が
BigQuery と Google の Big Data Stack 2.0 - naoyaのはてなダイアリー
先日、有志で集まって「BigQuery Analytics」という書籍の読書会をやった。その名の通り Google BigQuery について書かれた洋書。 BigQuery を最近仕事で使い始めたのだが、BigQuery が開発された背景とかアーキテクチャーとかあまり調べもせずに使い始めたので今更ながらその辺のインプットを増やして以降と思った次第。 それで、読書会の第1回目は書籍の中でも Overview に相当するところを中心に読み合わせていった。それだけでもなかなかに面白かったので少しブログにでも書いてみようかなと思う。 BigQuery の話そのものも面白いが、個人的には Google のインフラが書籍『Google を支える技術』で解説されたものが "Big Data Stack 1.0" だとして、BigQuery は Big Data Stack 2.0 の上に構築されており
iPhoneで今みてるページのはてなブックマークコメントを見たい、でも見られない。そんなときありませんか。私はあります ─ HBFav 2.5 をリリース - naoyaのはてなダイアリー
HBFav をバージョンアップ、2.5 をリリースしました。既に App Store でダウンロード可能です。iOS 7 なら放っておいても新しくなるはず。 今回のアップデートは二点 ペーストボード (クリップボード) にコピーしたURLを HBFav で開く機能の追加 タイムラインで追加の新着取得時にうまくいかない不具合の修正 です。主には前者ですね。 こんな感じで、HBFav を開いたときにペーストボードに URL があると、それを開くかどうか聞いてくるようになりました。 どんなシチュエーションで使う機能なの? 想定ユースケースを再現してみましょう。 ある日 Twitter なんかで拡散されてきたページを Safari で開いてみました。 なにこれウケるんですけど。 ブコメ (はてなブックマークのコメント) では何て言われてるのかな〜。と気になってきます。ウズウズ。こんなときは、おもむ
LTSV FAQ - LTSV って何? どういうところが良いの? - naoyaのはてなダイアリー
LTSV って何? Labeled Tab-Separated Values という、テキストのフォーマットの仕様です。CSV や TSV や JSON そのほかと同じ、テキストデータのフォーマット名。主にログ、特に httpd のアクセスログなどに適用すると便利です。 仕様は http://ltsv.org にまとまっています。随時更新中です。 LTSV は単なるログのフォーマットであって、それ以上でもそれ以下でもありません。 LTSV ってタブ区切りで値に名前を付けただけのもの? はい、そうです。 これが 127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326 "http://www.example.com/start.html" "Mozilla/4.08 [en] (
退職のお知らせ - naoyaのはてなダイアリー
本日8月31日をもって、はてなを退職しました。 入社は2004年9月1日でしたから、今日でちょうど6年です。6年間の間に、はてなブックマークをはじめとする各種サービスの企画開発やディレクション、インフラの構築、技術チームのマネジメント等々、色々な経験を積むことができました。その一方で、なかなか自分の思うようにはサービスを成長させる、会社を伸ばすことができず自分の力量不足を感じる毎日でもありました。その足りない能力と経験を埋め合わせる日々が、成長を促してくれたとは思います。 この6年は、はてなという会社が、個人あるいは家族のような繋がりから組織に変っていく過程でした。会社というものが何なのかを全然知らなかった自分が、Webサービスの開発と運営に、組織がなぜ必要かというのを体で知ることになりました。なかなかに得難い経験でした。 遠回りもありましたが、はてなは組織になりました。新サービスは日々ユ
続・オブジェクト指向の話 - naoyaのはてなダイアリー
オブジェクト指向設計の初期段階では、まずユースケースを自然言語で書いて、そこから名詞となるものを抽出して、各名詞がお互いにどういう関係にあるかという分析をしていきます。クラス導出の初期段階です。 最初、この手法を学んだときに「なんで名詞だけ抜き出してほげほげ」なんてことをやるんだろうとかなり疑問というか、手法は正しいのかもしれないけど、なぜそれをしなければいけないかが理解できませんでした。自然言語の中から名詞を抽出する作業と、コーディング作業というのが、頭の中でリンクしていなかったからです。 これも、先日書いた物を選んでからほげる、の法則から考えるようになってから理解できるようになったことのひとつです。 宮川さんは、「最初にメインプログラムの中にオブジェクトと、そのオブジェクトに何をさせるかを書くそう」と書きました。これは結城さん風に言うと、"インタフェースでプログラミングしている"という
インターン後半 / 第2回募集 - naoyaのはてなダイアリー
今日からインターンも折り返し、後半2週間が始まりました。2週間のトレーニングを終えて、いよいよ実地でアプリケーション開発が始まっています。各プロジェクトチームに配属になり、はてなスタッフの指導のもと新機能などの開発を行います。 社内の方々で仕様の検討などディスカッションが行われていて、活気に溢れています。再来週の成果発表が楽しみです。チームよっては、もっと早い段階でリリースできそうな話題もちらほら。 インターン第二回の参加者を募集しています この夏のインターンですが、来月9月にも実施します。既に募集を開始していて、締めきりは 8/20 (水) でもうすぐです。詳しくは http://www.hatena.ne.jp/company/staff/intern をご覧ください。 第一回の前半のトレーニングがどのようなものだったか、実際の参加者がブログに感想などを書いていますのでこちらをご覧いた
Linux カーネルのコンテキストスイッチ処理を読み解く - naoyaのはてなダイアリー
Linux カーネルのプロセススケジューラの核である kernel/sched.c の schedule() を読み進めていくと、タスク切り替え(実行コンテキスト切り替え)はその名も context_switch() という関数に集約されていることが分かります。2.6.20 の kernel/sched.c だと以下のコードです。 1839 static inline struct task_struct * 1840 context_switch(struct rq *rq, struct task_struct *prev, 1841 struct task_struct *next) 1842 { 1843 struct mm_struct *mm = next->mm; 1844 struct mm_struct *oldmm = prev->active_mm; 1845 184
naoyaのはてなダイアリー - 大規模サービスを展開する企業が陥るジレンマ
このところ大きなサービスを持ってる大きな企業が運用するウェブサイトについて考えることが多かったので、ちょっと書き殴ってみるとします。 一見すると大企業ってのは人もたくさんいるし資金もたくさんあるし、小さな企業と競争になっても、簡単にそれを踏みつぶしてしまえるような印象を受けます。いやいや、そんなに簡単じゃないんだよっていうのがイノベーションのジレンマであり、大企業病のジレンマであり。で、ウェブの企業にもう一つ当てはまるジレンマがあるなあと最近思います。 はてなダイアリーのキーワードページに、Yahoo! ニュースのトピックページからリンクされることがあります。そのニュースが Yahoo! Japan のトップページに載ってたりするものだと、キーワードページへの瞬間最大トラフィックが恐ろしいことになります。最近は対策を練ったので問題ないのですが、一時期は Yahoo! トップに載ってるニュー
はてなブックマークのコミュニティについて - naoyaのはてなダイアリー
はてなブックマークからは毎日のようにいままでは知りようがなかったすばらしい記事やニュースを得ています。こうして日記を書いた後にたくさんのフィードバックをいただいています。コメントのないブックマークでも、その一つ一つがとても嬉しい。そこに人がいる、という感じがします。はてなブックマークを作って良かった、と思います。 一方、はてなブックマークでの厳しい一言で人が傷ついたりしているのを見かけます。誰かがちょっと間違ったということを指摘するのに、バカとかアホとか、そんなことを書く必要は本当にあるんだろうか、自分の思う正しい回答を丁寧に示すだけでよいのではないか、と思います。 人間の感情なので、色々思うことは止めようがない、とも思います。また一方で、それを外にストレートに出さないよう理性を働かせるのもまた、人間のあり方だと思います。 コメントを見て「身から出た錆だ」と思ったこともあるし、僕自身も自覚
*NIX初心者だったあの頃 - naoyaのはてなダイアリー
ログインした。twm。ウィンドウを閉じようとしてもアイコンになる。途方に暮れる。 Emacs というのを使うと日本語が打てるらしいと聞いた。日本語入力への切り替え方法がわからない。立ち上げた Emacs を終了できない。 Cannna というのを使えば日本語が打てるらしい。apt-get install。他のパッケージのインストールが始まり混乱に陥る。 Emacs 使ってるって言ってたのに mule って書いてるよ? cat /var/log/messages | moer → command not found: moer apt-get install 中に Yes or No の質問をたくさんされる。よくわからないけど全部 yes にする。何が起こったかわからない。知らない振り。 X-Window のグレーバックの壁紙。解像度が適切に設定されてないせいでにじんでいる。設定方法がわから
Perl and UNIX Network Programming (YAPC::Asia 2007) - naoyaのはてなダイアリー
YAPC::Asia で Perl UNIX ネットワークプログラミングについての発表をしてきました。UNIX ネットワークプログラミングの基礎の概論、I/O多重化の話、Perl のモダンなネットワークライブラリの話です。資料を以下に置いておきます。 http://bloghackers.net/~naoya/ppt/070404Perl_and_UNIX_Network_Programming.ppt (ppt, 122k) なお、会場では口頭で触れましたが、資料中のソースは簡単のためエラー処理を飛ばしています。また、途中で出てくる図は例えば vfs のページキャッシュをはしょってあったりとこれも簡単のため省略事項がある点にご注意ください。 それからフォントが Consolas なので Consolas が入ってない環境だと変になる、かも。
プログラマの種類とキャリア - naoyaのはてなダイアリー
http://d.hatena.ne.jp/mkusunok/20060426/hr を読んでいろいろ考えた。 最近はてなブックマークとか見てて、優秀な人は自分がすごいことをやってるとか、努力してることに気づかないみたいな話がありましたね。例えば僕なんかはゲームがすごい好きで、ある程度つまらないゲームでも結構ずーっとやってられるみたいな感じがありますが。んなゲームするのが好きでどうすんだよ! ってそういう話じゃなくて。この感覚をときどき、プログラミングをしてたりコンピュータを触ってるとき、新しい技術について調べてるときに感じることがあるよという話。 その一方で、読みづらくて分かりづらい本を読んだり、ひたすらバグを叩いてるときとか、同じプログラミングに関することでも気分が滅入るときはたくさんある。プログラマという職業を続けられるのは、プログラミングが好きだからと思う一方で、好きだからといって
naoyaのはてなダイアリー - 「心にナイフをしのばせて」読後感想
痛いニュース(ﾉ∀`) : 首切少年Aが弁護士になって悠々自適。ヨットサイトも運営。 - ライブドアブログ という記事を先週ぐらいにたまたま見かけました。1969年にあった少年による殺人事件、その少年がその後弁護士になったということに触れたノンフィクションの書籍「心にナイフをしのばせて」についての記事です。 書籍の紹介から引用します。 高1の少年が同級生の首を切り落とした驚愕の事件。被害者の母はさながら廃人のように生き、犯人は弁護士として社会復帰していた！ 1969年春、横浜の高校で悲惨な事件が起きた。入学して間もない男子生徒が、同級生に首を切り落とされ、殺害されたのだ。「28年前の酒鬼薔薇事件」である。 10年に及ぶ取材の結果、著者は驚くべき事実を発掘する。殺された少年の母は、事件から1年半をほとんど布団の中で過ごし、事件を含めたすべての記憶を失っていた。そして犯人はいま、大きな事務所を
naoyaのはてなダイアリー - Perl の話をまとめた
use strict がどうのこうのという話があって、そういえば昔自分もそんなこと書いたなあと思っていろいろ自分の書いた Perl の話を見返してて、せっかくだから拙作のまとめでも作っておくかと思いました。とりあえず文章量がそれなりにあって、まとまりのあるものだけを見繕ってみます。 今見ると、当時の理解が不十分で微妙なところもあったりしますが、そのあたりはご愛嬌。 いま読んでもまだ陳腐化はしてなさそうな話 お薦めの Perl 本をいくつか紹介 : NDO::Weblog Perlおすすめの書籍や情報。今ならここにPerl救命病棟とWEB+DB PRESS総集編を入れるかな。 Perlプログラマのレベル10 - Perlプログラミング救命病棟より - naoyaのはてなダイアリー Perlプログラマのレベル10。なんか他言語にも飛び火した。 Perl の変数に関するちょっとした誤解と、動的な
naoyaのはてなダイアリー - Perlプログラマのレベル10 - Perlプログラミング救命病棟より
プログラマ、と一言で言っても、if文の意味をようやく理解したばかりの駆け出しのプログラマもいれば、汎用的で優れたライブラリを量産できるような凄腕のハッカーもいる、つまりはピンきりです。 Perlプログラマに関してはどうでしょう。一流のPerlプログラマになるためには、見えない階段があるようです。use strict を使い始めたらその階段を一歩上ったと言えるでしょうし、正規表現を理解したときも一段あがることになると思います。リファレンス、クロージャ、オブジェクト指向、CPANモジュール、mod_perl、MVCフレームワーク。それらも階段を構成する材料の数々と言えるでしょう。 さて、Perlプログラミング救命病棟という書籍から、ちょっと長いですがそんなPerlプログラマのレベル10のリストを引用してみます。 レベル1: Perl 関係の書籍や資料を何も読んでいない。Perl がプログラミン
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
