Hadoopを使わずにWikipediaのテキスト処理を400倍高速化 - tsubosakaの日記
タイトルは釣りです。id:mamorukさんの書いたHadoop で Wikipedia のテキスト処理を900倍高速化 - 武蔵野日記を読んで、そもそも1G程度のデータの単語頻度を数えるのに858分もかかるんだっけと思い、id:nokunoさんの資料を読んでみると単語頻度を求める際に a b a aみたいなデータを a 3 b 1に変形するのにsortしたファイルをuniq -cで処理するということをやっていた。これはあまり効率のよい方法ではなくて行数をNとしたときにO(N log N)の計算時間となる(文字列比較はO(1)でやれることにする)。 これに対して、単語の頻度をハッシュ表で保存すると理想的な条件の元ではO(N)の計算時間で頻度を求めることが出来、より高速に計算することが可能となることが期待される。 また、単語数をWとしたとき、C++のmapのような二分探索木を使ってもO(N
NTP設定 - とあるSIerの憂鬱
環境 RHEL5 ( ntp-4.2.2p1 ) RHEL6 ( ntp-4.2.4p8 ) NTPは結構微妙な修正を入れてくるのでバージョンが異なる場合は注意が必要。 manが当該バージョンの情報源としてはまず優先。 最近の変更 RHEL6ではRHEL5で /etc/init.d/ntpd のみで行っていたことを /etc/init.d/ntpdate と /etc/init.d/ntpd に分離している。 ntpd起動前のntpdate実行について分離している。ntpdを使うのであればntpdateも同時に有効にするべき(ntpdate実行を避けたい場合以外)。 設計 何もよりも先に 『参考』にあげた富士通の『Linuxユーザーズマニュアル RHEL6編』がNTPの説明として詳しい・わかりやすい。まずはこれを読む。 NTPサーバの階層設計 NTPを使う目的は『正しい時刻の維持』と『時刻
【閲覧注意】ハイタッチをスルーされる瞬間を集めた動画悲しすぎワロタ : 暇人＼(^o^)／速報 - ライブドアブログ
【閲覧注意】ハイタッチをスルーされる瞬間を集めた動画悲しすぎワロタ Tweet 1：以下、名無しにかわりましてVIPがお送りします：2012/07/30(月) 18:45:30.33 ID:fVGln1Tu0 http://www.youtube.com/watch?feature=player_embedded&v=z1TRv_id8RM 2：以下、名無しにかわりましてVIPがお送りします：2012/07/30(月) 18:47:24.03 ID:majSfzdr0 何が可笑しい！！ 3：以下、名無しにかわりましてVIPがお送りします：2012/07/30(月) 18:47:25.42 ID:4lSxbzqS0 正直ワロタ 4：以下、名無しにかわりましてVIPがお送りします：2012/07/30(月) 18:47:35.68 ID:QrccyQ800 なんかワロタ 5：以下、名無しにかわ
「律速」を普及させる会
律速は、化学工学などの反応速度を論じる分野で使われていることばです。 「全体の反応速度を決めているのは何か」という問題を扱うときに使います。 簡単な例として以下のような二つの反応を考えてみます。 凸 + 凹 → ■ (反応速度：10g/秒)… �@ ■ + △ → ☆ (反応速度：1g/秒) … �A �@は、10gの凸という物質と10gの凹という物質を反応させると1秒あたり10gの■という物質ができる。 という意味です。言い換えると10gの凸と10gの凹を反応させ10gの■を作るには1秒かかるということです。 同様に�Aは、1gの■と1gの△を反応させ☆を1g作るのに1秒かかることを意味します。 �@、�Aの反応はともに温度を上げると速度が上がるものとします。 最終的な目標は☆を作ることであり、手元には、凸と凹、△があるという状況を仮定します。 このようなとき、☆を作るためには�
Steve Yegge の Google とプラットフォームに関するぶっちゃけ話を訳した（中編）
前編からの続き この努力は僕が Google に来る為に Amazonを離れた2005年半ばも続いていた。でももっとずっと進化していたよ。 Bezos が命令を出してから僕が離れるまでの間に、 Amazon は全てにおいてまず最初にサービスを考える企業へと文化的に変化していった。外部の日の目を決して見ることの無いような、スタッフへの内部的なデザインも含めて、今ではそれがデザインというもの全てに対しての基本的なアプローチになっている。 その時点では、彼らはもはや解雇の恐怖からそうしているわけではなかった。つまり、もちろんビビってはいたけれど、ドレッドヘアの海賊 Bezos 様にご奉仕するのは日常生活の一部だからね。そうじゃなく、彼らはそれが正しいことだと理解したから、サービスを提供しているんだ。確かに SOA のアプローチには長所も短所もあるし、短所を書き出してみたら切りが無い。でも全体とし
Steve Yegge の Google とプラットフォームに関するぶっちゃけ話を訳した（前編）
Google エンジニアの Steve Yegge 氏、Google+ への懸念を漏らす http://japan.internet.com/busnews/20111013/8.html で記事になってたけど、原文とちょっと要旨が変わっちゃってサービスへの警鐘みたいになってしまってたので、全文訳してみた。くそ長い。お暇な方どうぞ。 （2011/10/19 08:14）ありがたい誤訳の指摘をいただいたので3カ所修正。 Stevey の Google プラットフォームぶっちゃけ話 僕は6年半ばかり Amazon にいて、今はそれと同じくらい Google にいる。この二つの会社について強く感じることは（しかもその印象は日々強まるのだけれど）、 Amazon は全てにおいて間違っていて、 Google は全てにおいて正しいということだ。そう、やりすぎな一般化だけど、驚くほど正確だと思う。いやも
DISQUS コメントのインポートが意外に面倒 - てっく煮ブログ
更新期間が開いてしまったが、ブログの移転計画を少しずつ進めている。おおよその過去記事の表示は問題なくなったところであり、もう間もなく移転できるところまで来ているんだけど、コメント欄の移行で手間取っている。新生ブログのコメント欄にはDISQUSを採用することを検討している。DISQUS はコメント欄の請負サービスとしては最大手だろう。英語圏では CNN や Time、MLB.com などが、日本では TechCrunch JAPAN などが採用している。アカウント登録して、JavaScript を貼り付けるだけで高機能なコメント欄ができあがるので、気軽で便利なのである。インポートの戦略ただ、今回は既存のブログがあるので、「JavaScript を貼って、はい、終わり」とはいかない。過去のコメントをインポートしたいのである。幸い、DISQUS にはインポート機能がある。WordPress や
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ゆううつグッズ部 | デザインTシャツ通販 T-SHIRTS TRINITY（Tシャツトリニティ）