livedoor Techブログ : wikipediaのデータや顔文字辞書からmecabのユーザ辞書を作成するフレームワーク
突然ですが，mecabの辞書 (mecab-ipadic) をデフォルトのまま使って，mecab意外と使えねぇとか文句言ってる悪い子はおらんかね？ mecab-ipadic は比較的お行儀のよい日本語をベースに作られているので，そのままでは web上の口語文体のテキストはうまく扱えないことがあります。本来は教師データを用意し，学習させるといった手法を使うのが正攻法だと思いますが，とりあえず名詞を充実させるだけでも実用度はだいぶ上がるでしょう。 人間の話す言語には，動詞の語幹や名詞には日々新しく語彙が増えるけど，助詞や活用のルールは簡単には変化しない，という特性があります。特に「いま最もつぶやかれている単語ランキング」といった集計をするような場合は，名詞の範囲の切り出しさえ間違えなければそれなりの結果を出せることも多いのです。 ただ，辞書への単語追加はここにある通り簡単にできるのですが，単語
Jaccard指数を使ったリコメンドシステムをPythonで書いてみた | hexacosa.net
Hacker Newsあたりに流れてておもしろそうだったので、Pythonで書いてみました。 元の記事は以下です。 Simple recommendation system written in Ruby Jaccard(ジャッカード)指数は サンプル群間の類似度を比較するためのものとのこと 。 A集合とB集合で、AとBの両方に出現ものを分子、AとBのどちらかに出現するものを分母として算出します。 Pythonを使うと set.intersection と set.union で表現できます。 日本語の単語抽出には mecab を使いました。 # coding: utf-8 import re import MeCab class Book(object): def __init__(self, title): self.title = title # original #self.wor
[初音ミク] Kinesis でフリーザを撃て！
Amazon Kinesis と初音ミクをもちいた、元気パワーのリアルタイムビジュアライザーRead less
![[初音ミク] Kinesis でフリーザを撃て！](https://cdn-ak-scissors.b.st-hatena.com/image/square/08a6541f0e9a72387c423b836ad6b38de0c63ea0/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fjawsdayslt20140315up-140315190450-phpapp02-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
Pythonによる日本語自然言語処理 #pyconjp
Pythonによる日本語自然言語処理 #pyconjp - Presentation Transcript Python @nokuno #pyconjp • Python 2.X • • • • • @nokuno / id:nokuno • #TokyoNLP • Social IME / StaKK • Web • Python 2.X Python 2.X / read write UTF-‐8 “ ” decode encode Unicode u” ” # encoding: utf-‐8 u” “ decode encode MeCab• MeCab• Python MeCab – mecab ipadic, mecab-
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
