日本語形態素解析の裏側を覗く！MeCab はどのように形態素解析しているか - クックパッド開発者ブログ
こんにちは、買物情報事業部の荒引 (@a_bicky) です。 前回、「検索結果の疑問を解消するための検索の基礎」で単語単位でインデキシングする前提で説明しましたが、今回は文などを単語単位で分割するために使う技術である形態素解析について触れます。 形態素解析器には色々ありますが、中でもメジャーと思われる MeCab の仕組みについて説明します。 MeCab の解析精度を上げるために辞書に単語を追加したことのある方もいると思いますが、動作原理を理解することで単語を追加する際に適切な生起コストを設定できるようになったり、学習の際に適切なパラメータを設定できるようになったりするはずです。 なお、MeCab は汎用テキスト変換ツールとしても使用できます が、簡単のため MeCab + IPA 辞書のデフォルト設定前提で説明します。 アジェンダ 形態素解析とは MeCab における最適な解析結果の推
形態素解析エンジンMeCabにて文章中から短歌を抽出 - inaniwa3's blog
概要 偶然５７５７７になっている文章を短歌としてつぶやく Twitter の bot を作りました。 フクロウが鳴くと明日は晴れるので洗濯物を干せという意味 #tanka ウィキペディア日本語版「フクロウ」より http://t.co/Dm1uHcQdzR— 偶然短歌bot (@g57577) 2014, 12月 31 再帰的アルゴリズムが有効な問題として有名であり #tanka ウィキペディア日本語版「ハノイの塔」より http://t.co/vm2ZqwImKi— 偶然短歌bot (@g57577) 2014, 12月 31 文章はウィキペディア日本語版を対象としました。 作り方 jawiki-latest-pages-articles.xml.bz2 をダウンロード。 WP2TXT で上記を扱いやすい形式に変換。 このスクリプト で５７５７７になっている文を抽出。数時間かけて（遅い）
Wikipediaで偶然“短歌”になった文章を、ランダムにつぶやくTwitterアカウントが登場 - はてなニュース
Wikipediaから、偶然短歌の体裁になっている文章を見つけ出してツイートするアカウント「偶然短歌bot（@g57577）」が、Twitterやはてなブックマークで注目を集めています。制作したのは、はてなユーザーのid:inaniwa_3さん。抽出作業ではWikipediaの日本語版を対象とし、オープンソースの形態素解析エンジンである「MeCab」を使用したそうです。 ▽ 偶然短歌bot (@g57577) | Twitter 同アカウントは2014年12月29日から始まり、2015年1月19日午後3時30分時点で2万人以上にフォローされています。このアカウントを運営するid:inaniwa_3さんは「以前、誰か（たぶん nai さん）がツイートで偶然５７５７７になっている文章を短歌として紹介していて、面白いなと思ったのがきっかけで作りました」とコメントしています。はてなブログでは、その
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
