タグ

NLPとrubyに関するma_koのブックマーク (3)

  • N-gramで文字列の類似度を測る

    とある2つの文字列がどれぐらい似ているのかを比較するにはどうすればいいのかを調べる必要があったので、ネットで検索してみました。 perlにはString::Trigramというモジュールがあるようです。 String::Trigram でテキストの類似度を測る rubyで同じようなものが見つからなかったので、取り急ぎ作って見ました。 #!/usr/bin/ruby #類似度の比較 class String def ngram(string, part_len = 3) string = string.dup.gsub(/[\s\n ]+/u, "") strlen = string.split(//u).length points = [] source = self.gsub(/[\s\n ]+/u, "") srcarr = source.split(//u) sourcelen =

    N-gramで文字列の類似度を測る
    ma_ko
    ma_ko 2013/06/14
  • AI Ruby Plugins

    AI Related Ruby Extensions This page will maintain list of AI related libraries for the Ruby programming language. Please contact me if you know something I missed. (I plan to migrate this to a wiki soon). While maintaining this list, I have induced* a theory: If a project's first public appearance is documentation without code, code will not appear before the heat death of the universe. * Induc

  • マルコフ連鎖で日本語をもっともらしく要約する - ザリガニが見ていた...。

    そもそも、マルコフ連鎖とは何なのか?全く聞いたこともなかった。そして、文章を要約するのはとっても高度なことだと思っていて、自分のレベルではその方法を、今まで思い付きもしなかった。 しかし、以下のようなシンプルなRubyコードでそれが出来てしまうと知った時、目から鱗である...。一体、何がどうなっているのだ?コードを追いながら、マルコフ連鎖を利用するという発想の素晴らしさを知った! 作業環境 MacBook OSX 10.5.7 ruby 1.8.6 (2008-08-11 patchlevel 287) [universal-darwin9.0] mecab utf8環境でインストール済み マルコフ連鎖に出逢う rssを流し読みしていると、以下の日記に目が止まった。(素晴らしい情報に感謝です!) MeCabを使ってマルコフ連鎖 一体何が出来るコードなのか、日記を読んだだけではピンと来なかっ

    マルコフ連鎖で日本語をもっともらしく要約する - ザリガニが見ていた...。
  • 1