マルコフ連鎖と日本語形態素解析によるワードサラダSEO
マルコフ連鎖とは マルコフ連鎖は未来の挙動が現在の値だけで決定され、過去の挙動と無関係であることを利用した確率統計モデルです。定義としては次のような形を取ります。 マルコフ連鎖は、一連の確率変数 X1, X2, X3, … で、現在の状態が決まっていれば、過去および未来の状態は独立であるものである。形式的には、 であるような過程をいう。一般の、時間的に均一でないマルコフ連鎖は、この等式を満たさない。（Wikipedia:「マルコフ連鎖」より） はい、難しい数式が出てきましたね。私もこの中身は完全には理解していません。しかし、このマルコフ連鎖を使うと、現在のデータを一定の出現率で並び替えるアルゴリズムを作成することも可能という事を憶えておいてください。実はGoogleのページランクアルゴリズムなどにもマルコフモデルが応用されています。 日本語形態素解析とは 日本語は単語と助詞を中心に、日本独
MeCab + Ruby で形態素解析（わかち書き） - (ﾟ∀ﾟ)o彡 sasata299's blog
2009年09月21日01:32 Ruby MeCab + Ruby で形態素解析（わかち書き） 形態素解析という技術をご存知でしょうか。日本語を最小単位で単語ごとに分割し、それぞれの単語が名詞なのか動詞なのかを判定してくれるものです。例えば「今日は良い天気ですね」を形態素解析するとこのような結果が得られます。 今日 名詞,副詞可能,*,*,*,*,今日,キョウ,キョー は 助詞,係助詞,*,*,*,*,は,ハ,ワ 良い 形容詞,自立,*,*,形容詞・アウオ段,基本形,良い,ヨイ,ヨイ 天気 名詞,一般,*,*,*,*,天気,テンキ,テンキ です 助動詞,*,*,*,特殊・デス,基本形,です,デス,デス ね 助詞,終助詞,*,*,*,*,ね,ネ,ネ EOS さらに、文章を単語ごとにスペース区切りにする処理をわかち書きといいます。こんな感じです。 今日 は 良い 天気 です ね この処理は日
日本テレビ東京で学ぶMeCabのコスト計算 | mwSoft
今回はこの言葉の解析をMeCab＋NAIST辞書にお願いして、結果を分析することで、MeCabが行っているコスト計算について勉強してみたいと思います。 とりあえず実行してみる さっそくMeCabに「日本テレビ東京」を解析してもらいましょう。 $ echo 日本テレビ東京 | mecab 日本 名詞,固有名詞,地域,国,*,*,日本,ニッポン,ニッポン,, テレビ東京 名詞,固有名詞,組織,*,*,*,テレビ東京,テレビトウキョウ,テレビトーキョー,, EOS 「日本 | テレビ東京」と分けていますね。視聴率的には負けていますが、NAIST辞書的には日本テレビよりもテレビ東京が優先されたようです。 ちなみに「フジテレビ東京」ではどうなるでしょうか。 $ echo フジテレビ東京 | mecab フジテレビ 名詞,固有名詞,組織,*,*,*,フジテレビ,フジテレビ,フジテレビ,, 東京 名詞,
Google Japan Blog: 大規模日本語 n-gram データの公開
メディア関係者向けお問い合わせ先 メールでのお問い合わせ: pr-jp@google.com メディア関係者以外からのお問い合わせにはお答えいたしかねます。 その他すべてのお問い合わせにつきましては、ヘルプセンターをご覧ください。
Rails全文検索導入記(MySQL+Senna(Tritonn)+CentOS5)：Rails編 - TrinityT's BLOG
本題のRailsへの適用方法へ。 構成 MVCはこんな構成で。 controller -user_controller.rb model -user.rb views -search.html.erb -index.html.erbテーブルはこんな感じ カラム名 説明 id ID name 名前 address 住所 また、全文検索ではacts_as_tritonnを使用してみることにした。 適用手順 acts_as_tritonnプラグインインストール $ script/plugin install http://ryu.rubyforge.org/svn/acts_as_tritonn Usersテーブル & FULLTEXT INDEX生成 Migration作成。INDEXはMecabで。 #●create_users.rb class CreateUsers < ActiveRe
「ひとがご→人がゴミのようだ」 桁違いの語彙力、Googleが日本語入力ソフト（無料）発表…ATOKどうなる？ : 痛いニュース(ﾉ∀`)
「ひとがご→人がゴミのようだ」 桁違いの語彙力、Googleが日本語入力ソフト（無料）発表…ATOKどうなる？ 1 名前：☆ばぐた☆ ◆JSGFLSFOXQ ＠☆ばぐ太☆φ ★ ：2009/12/03(木) 15:07:34 ID:???0 グーグル日本法人は３日、日本語入力ソフト（ベータ版）の提供を始めた。ネット上から自動的に単語を収集して辞書をつくり、新しい言葉や専門用語、著名人の名前なども収録されているという。ソフトをダウンロードして使う。同社の検索で、入力間違いを類推して指摘する「もしかして機能」の担当技術者らが開発。単語を入力すると、同社の検索エンジンで単語を入力した時に表示される候補と似た変換候補がリスト表示され、必要な言葉を選ぶ。 http://mainichi.jp/select/biz/news/20091203mog00020019000c.html 「ぱんつじゃ」まで
MeCab: Yet Another Part-of-Speech and Morphological Analyzer(形態素解析エンジン)
MeCab に至るまでの形態素解析器開発の歴史等はこちらをご覧ください メーリングリスト 一般ユーザ向けメーリングリスト 開発者向けメーリングリスト 新着情報 2008-02-03 MeCab 0.97 マルチスレッド環境で辞書を開くときの排他制御がうまくいっていなかったバグの修正 Windows版でインストール時に辞書の文字コードを指定できるようになった 一部のコンパイラで正しくコンパイルできなかった問題の修正 部分解析モードを変更するAPI の追加 (Tagger::set_partial()) ラティスの生成レベルを変更するAPI の追加 (Tagger::set_lattice_level()) 温度パラメータを変更するAPIの追加 (Tagger::set_theta()) 全候補出力モードを変更するAPIの追加 (Tagger::set_all_morphs()) 2007-
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
