Hadoopを使わずにWikipediaのテキスト処理を400倍高速化 - tsubosakaの日記
タイトルは釣りです。id:mamorukさんの書いたHadoop で Wikipedia のテキスト処理を900倍高速化 - 武蔵野日記を読んで、そもそも1G程度のデータの単語頻度を数えるのに858分もかかるんだっけと思い、id:nokunoさんの資料を読んでみると単語頻度を求める際に a b a aみたいなデータを a 3 b 1に変形するのにsortしたファイルをuniq -cで処理するということをやっていた。これはあまり効率のよい方法ではなくて行数をNとしたときにO(N log N)の計算時間となる(文字列比較はO(1)でやれることにする)。 これに対して、単語の頻度をハッシュ表で保存すると理想的な条件の元ではO(N)の計算時間で頻度を求めることが出来、より高速に計算することが可能となることが期待される。 また、単語数をWとしたとき、C++のmapのような二分探索木を使ってもO(N
リファクタリングしてますか？: 柴田 芳樹 (Yoshiki Shibata)
「リファクタリングの第一歩」（7頁）として、次のように述べられています。 リファクタリングを開始するとき、最初にすることは常に同じです。対象となるコードについてきちんとしたテスト群を作りあげることです。リファクタリングは非常に順序だっていて、新たなバグを生み出しにくくなっていますが、人間が作業する以上、間違いを犯す可能性があります。このためテストは大切で、きちっとした一連のテストを用意するべきなのです。10年前に読んだ時に、私自身がきちんと理解していなかったのは、この点です※1。きちんとしたテスト群があり、それらを使用してコードをリファクタリングすることが、リファクタリングの基本なのです。しかし、そのためには、自動化されたテストが必要となります。いくらテスト群があっても、すべて手作業を実行しなければならなければ、役に立ちません。 単体テストが自動化されておらず、手作業で行われているような組
第参回天下一カウボーイ大会対談 古川享 x 遠藤諭 x 清水亮:その1
第参回のテーマ「Code is Love」に込められた思いとは？ 日本のコンピュータ業界は、どこから来て、どこへ行くのか？ 清水亮が古川享（慶應義塾大学教授）、遠藤諭（アスキー総合研究所所長）を迎え、熱く語る！ 清水 ： ありがとうございます。今日は、天下一カウボーイ大会では恒例になりつつある鼎談にお付き合いいただきます。 古川 ： ちょっと恥ずかしくて聞けなかったんだけど、「天下一」って、あのラーメン屋の「天下一」からきているわけではない？ 遠藤 ： アスキーのあった青山の骨董通りに「天下一」っていうラーメン屋があったんですよ。 古川 ： なつかしい。僕らがそれこそソフトウェアビジネスを立ち上げたアスキーラボラトリーズから一番近いところが「天下一」で、プログラマー時代にはそこで三食食べていたんですよ。 清水 ： そうなんですか！縁起のいい名前でよかった。今回のテーマは「Code is
総合目次 - 苦しんで覚えるC言語
苦Ｃの内容の転載などは自由ですが、苦Ｃからの引用であることを明記してください。 (どこかに「苦Ｃより」と書かれていればＯＫです。) 学校や会社などで生徒(新入社員)へのテキストとして使用することも自由です。 その際、内容を修正したり、印刷して配布するのも自由です。
松田白朗氏とゲーム機技術について語る - JTPA
ギークサロン「松田白朗氏とゲーム機技術について語る」を、9月14日に開催致しました。以下は、参加者の斉藤圭さんからの開催レポートです。 当日のプレゼン資料はこちら。 --------------------------- はじめに、ゲーム業界とはどんなところか? ということについてのお話がありました。ゲーム業界は、義理、徒弟、上納金など、まさに日本の伝統文化が息づく世界とのこと。普段は接点の無い業界のお話はとても興味深く、思わず聞き入ってしまいました。続いて、現在の主力家庭用ゲーム機 (PlayStation3、Xbox360、Wii) のアーキテクチャ解説があり、それぞれのよいところ、悪いところを紹介。それからトピックはゲームソフトの開発に移り、どのような人たちが集まって、どのような過程を経てゲームソフトができあがるか、ということについてお話がありました。 最後に、松田さんの現在のお仕
TXTCache Index uniquely : ホーム
圧縮インデックスライブラリ「TXTCache」,圧縮Suffix ArrayなどのJava実装パッケージ,オンメモリで全文検索を行うことができる,高速な検索エンジンやユニークなデータモデルの開発が可能となる圧縮インデックス(Compressed Index)のJavaのライブラリ。 接尾辞配列(Suffix Array)、圧縮接尾辞配列(Compressed Suffix Array)、LZ-Indexなどを含んだパッケージ。 オープンソース。 ライセンスは、GPLまたはLGPLのユーザー選択式。 無償。 GPL版ダウンロード LGPL版ダウンロード Operaの場合、お手数ですが、ダウンロード後、ファイル名に.zipを付ける必要があります。
Java におけるコード進化パターン (Code Evolution Patterns in Java)
Java におけるコード進化パターン (Code Evolution Patterns in Java) asato shimotaki <asatohan at gmail.com> 最終更新日 : 2009/6/21 (2004/4/22 より) [...] For twenty years, I spent two or three hours a day looking at pairs of things -- buildings, tiles, stones, windows, carpets, figures, carvings of flowers, paths, seats, funiture, streets, paintings, fountains, doorways, arches, friezes -- comparing them, and asking my
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[PDF] CUDAとGPUを用いたSQLiteの高速化