Python で word2vec を使ってみる - 巨人の肩の上に登る
画像の出典 word2vecとは 単語のベクトル表現を獲得する一つの手法です。 word2vecの特徴としては、意味的な計算が可能な表現であるということです。 例えば次の式のように、kingのベクトルからmanのベクトルを差し引いたベクトルにwomanのベクトルを足し合わすことで、queenのベクトルと近似するベクトルが得られます。 king - man + woman = queen word2vec | google code 事前知識として A yet another brief introduction to neural networks Statistical Semantic入門 ~分布仮説からword2vecまで~ word2vec install pip でインストールできます。 $ sudo pip install word2vec 英語のモデルファイルが、下記の使い方
mecab, cabocha, juman, knpの処理速度とか - Into the Horizon
knpを初めて使ってみたら結構処理が遅かったので、どれくらい速度に差があるのか検証してみました。 速度のオーダーを確かめてみる程度の検証です（真面目な検証ではない） ■実験設定 pythonからsubprocessを使って*1各ツールを呼び出し ウェブコーパスからn文を解析して、1文辺りの時間を計測、ツール間で比較しました KNPは解析速度が文字数により指数的に低下するようなので、KNPについては文字数を変えて実験してみました。（mecab, cabochaはそこまで文字数に依存しない） 日本語の1文は、だいたい30~40文字くらいの目安感です（きっちりした文章だともうちょい長い） 40文字ってどれくらいかと言うと 「特に上流部なんかは補充が効かないところが多く、一度やられると少し時間がかかります」 これできっちり40文字。 ■実験結果 解析器 入力文数 1文の文字数 実行時間 1文辺りの
MeCab: 単語の追加方法
概要 辞書への単語追加には, 二つの方法があります. システム辞書への追加 ユーザ辞書への追加 システム辞書への追加 辞書更新が頻繁でないときや, 解析速度を落としたくない時は, 直接 システム辞書を変更するのがよいでしょう. mecab-ipadic があるディレクトリに移動 foo.csv というファイルを作成 (拡張子が .csv なら何でも可) foo.csv に単語を追加 辞書の再コンパイル + インストール % /usr/local/libexec/mecab/mecab-dict-index -f euc-jp -t euc-jp % su # make install -f charset: CSVの文字コード -t charset: バイナリ辞書の文字コード 例: utf-8の辞書を作成する例 % /usr/local/libexec/mecab/mecab-dict-i
Python で Mecabを利用する【mac】 - 39Si
形態素解析ツールである Mecab を Python から使えるようにした。 他にも形態素解析に用いられるものは存在したが、 Mecab がもっとも一般的のようだったので、今回はこちらを使うことにした。 環境 ・MacBook Air - OS X Yosemite mecabの導入 まずはMecabをHomebrewでいれる。 方法は以下のページを参考にした。 Pythonでつくる検索エンジン(Webクローラ, Mecab, MongoDB, Flask) - c-bata web $ brew install mecab $ brew install mecab-ipadic 動作テスト terminal で mecab と入力して、適当な日本語入れる。 無事に動いた。 $mecab 今日はいい天気ですね。 今日 名詞,副詞可能,*,*,*,*,今日,キョウ,キョー は 助詞,係助詞,
Pythonでつくる検索エンジン(Webクローラ, Mecab, MongoDB, Flask) - c-bata web
検索エンジン自作入門 ~手を動かしながら見渡す検索の舞台裏 作者:山田 浩之,末永 匡発売日: 2014/09/25メディア: 単行本（ソフトカバー） (この記事で紹介しているのはTF-IDFとかの計算もない簡素なものです。) はじめに Webサービスのプログラミングに必要なことのだいたいは、スクレイピングに学んだ - Line 1: Error: Invalid Blog('by Esehara' ) この前↑の記事をみかけました。クローリングやスクレイピングは、色々と応用が効きそうなのでしっかり勉強したい。 PythonではScrapyという有名なクローリング・スクレイピング用のライブラリがありますが、今回は勉強としてScrapyを使わずに実装してみる。流れとしては以下のとおり Webクローラの構築 Mecabで日本語の形態素解析 検索エンジンの構築 データをMongoDBに格納 Fl
日本語形態素解析の裏側を覗く！MeCab はどのように形態素解析しているか - クックパッド開発者ブログ
こんにちは、買物情報事業部の荒引 (@a_bicky) です。 前回、「検索結果の疑問を解消するための検索の基礎」で単語単位でインデキシングする前提で説明しましたが、今回は文などを単語単位で分割するために使う技術である形態素解析について触れます。 形態素解析器には色々ありますが、中でもメジャーと思われる MeCab の仕組みについて説明します。 MeCab の解析精度を上げるために辞書に単語を追加したことのある方もいると思いますが、動作原理を理解することで単語を追加する際に適切な生起コストを設定できるようになったり、学習の際に適切なパラメータを設定できるようになったりするはずです。 なお、MeCab は汎用テキスト変換ツールとしても使用できます が、簡単のため MeCab + IPA 辞書のデフォルト設定前提で説明します。 アジェンダ 形態素解析とは MeCab における最適な解析結果の推
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
