Tnal研究室wikiページ -
#!/usr/bin/env python # -*- coding:utf-8 -*- """ feature_vector.py % python feature_vector.py file import feature_vector result = feature_vector.analyse(text) """ import MeCab def analyse(text): while node: surface = node.surface.decode('utf-8') node = node.next return feature_vector if __name__ == '__main__': import sys filename = sys.argv[1] file = open(filename).read() feature_vector = analyse(
b-Bit MinHashによる高速かつ省スペースな類似度判定 | SmartNews開発者ブログ
ゴクロの浜本です。ネットカフェでコードを書くのが好きです。 前回のエントリーでも触れられていますが、SmartNewsはホットな話題をユーザにお届けするために、常時、膨大な数のツイートおよびURLをクロールしています。こうして収集した記事に対し、様々な分析が施されますが、その中でも重要な処理の1つに、記事の類似度判定があります。内容の似通った記事をインデックスから発見し、グループ化する処理です。 毎秒、大量の新着記事が到着することから、この類似度判定は高速に実行する必要があります。また、インデックスを全てメモリに載せているので、類似度判定を実現する際の空間効率も要求されます。 今回は、SmartNewsが高速かつ省スペースな類似度判定のために使用しているb-Bit MinHashと呼ばれる手法を紹介します。2年前に、PFIの岡野原さんが非常に分かりやすい解説記事を書かれており、本エントリー
AWK Users JP :: awk 基礎文法最速マスター
この文書は書きかけです ここでは nawk (new awk) で使用可能な命令で記述しています。 gawk (GNU awk) を使うことで、さらに効率よい記述を行うことができますが、nawk の文法で覚えておくと全ての awk で使うことができます。 print 文 表示は print 文です。 print "Hello World!"; コメント # 以降がコメントになります。 スクリプトの実行 以下のように '-f' に続いてスクリプトを指定します。 nawk -f foo.awk 複数の awk スクリプトを指定することもできます。 nawk -f foo1.awk -f foo2.awk -f foo3.awk スクリプトを直接指定できます。 # "Hello World" と表示 nawk 'BEGIN { print "Hello World" }' BEGIN, END,
【必聴】洋楽板住人が選ぶ00年代ベストアルバムランキング - 見る前に飛べ踊れ
このスレは皆さんの好みと投票で順位が決まります。 あなたが良かったと思う00年代の洋楽アルバムを最高10枚まで選んで、順位をつけてください。 【スレッドルール】 ・投票は1人1回とします。同一IDにつき1回だけ投票可能。 ・2000年1月1日から2009年12月31日の間に発売されたアルバムに投票可能。 （それ以外を含む投票は全て無効） ・投票出来るアルバムは最高10枚となります。（10枚以上の投票は全て無効） ・順位の無い票は無効とします。必ず順位をわかるように明記してください。 ・10枚に満たなくても順位が明記されていれば集計します。（ただし、1枚のみの投票は無効） ・1位:10点 2位:9点 3位:8点 4位:7点 5位:6点 6位:5点 7位4点 8位:3点 9位:2点 10位:1点 とします。 ・投票する枚数に応じて点数は変わります。7枚での投票なら、最高点は7点です。 ・ベスト
「昔はよかった」は本当か？ 戦前の日本人のマナーがひどかった！ | ダ・ヴィンチWeb
アルバイトがTwitterで悪ふざけした写真を投稿する“バイトテロ”や、相次ぐ食品偽装に対し、「日本人のモラルが低下した」と嘆く人は多い。なかには「戦後の民主主義教育のせいだ」「戦前の日本人はすばらしい道徳心を持っていた」と言う人もいる。だが、それは果たして本当なのか。そう疑わずにいられなくなる本が、『「昔はよかった」と言うけれど 戦前のマナー・モラルから考える』（大倉幸宏/新評論）だ。というのも本書には、現代人なら仰天必至の、戦前の日本人のマナーの悪さ、モラルの欠如が露わになっているからだ。 たとえば、多くの人が行き来する駅や電車の中でのマナー。現代は混雑するホームで列をつくって電車を静かに待つ日本人の姿に、外国人から「さすが礼儀正しい」と称賛の声があがるが、大正時代のその光景は“傍若無人の見本市”。1919（大正8）年に発行された電車でのマナー向上のための小冊子には、「無理無体に他を押
mod_mrubyを使ってRaspberry Piを4台でWebサーバクラスタを組んでみた
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 そろそろRaspberry Piセットの日経BPムックが皆さんの所に届いていることでしょう。 僕も何台かRaspberry Piは持っていて、以前mod_mrubyをRaspberry Piで動かしてLチカしたりしていたのですが、今回はmod_mrubyとRaspberry Piを4台使ってでクラスターを組んで見ました。 まずはラック作りから まずは、Raspberry Piのラックを作りました。Raspberry Piのラックやケースをググると色々と出てくるのですが、なんとなく今回はそこら辺にあるものを使ってラックを作ってみました。Raspberry Piラックは以下の様になります。 上から見ると、以下のような感じです。適当にニトリのキッチ
日本のウェブ系エンジニアは真摯だと思う – hkmurakami's Japanese blog
僕はもともとウェブ系エンジニアでは無いのだけど、Fluentdにかかわるようになってからは日本のエンジニアコミュニティとはちょっとつるんだり茶々を入れ合うようになってる。[1] ハッカーニュースに代表される欧米（特にSF）のエンジニアともネットを通した交流もあるので、はてな民的日本エンジニアとHN民的のSFエンジニアを見比べることができる立ち位置だと思う。[2] そんなこんなで両コミュニティに片足ず突っ込んで早二年。ツイッターやブログを読んでて思うのは： 日本のエンジニアは真摯な気がする SFのエンジニアかっこつけすぎじゃない？ HN民的エンジニアは俗に言う「俺スゲー！見て見て！聞いて聞いて！」な人たちが多いと思う。こっちだと面接ではどんな失敗もポジティブに言いくるめるように叩き込まれるからか、失敗談も恰好よくラッピングされている。本当にダサい失敗談とかほとんど目にしない。「カウンターカル
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Simple, efficient background jobs for Ruby
Charming Python: Functional programming in Python, Part 3
Menu bar icon in OS X for script running as daemon?
Writing a Ruby extension in Go (golang)
Rubyで日本語のURI(URL)をパーズするなら Addressable::URI を使おう - Qiita