Python で word2vec を使ってみる - 巨人の肩の上に登る
画像の出典 word2vecとは 単語のベクトル表現を獲得する一つの手法です。 word2vecの特徴としては、意味的な計算が可能な表現であるということです。 例えば次の式のように、kingのベクトルからmanのベクトルを差し引いたベクトルにwomanのベクトルを足し合わすことで、queenのベクトルと近似するベクトルが得られます。 king - man + woman = queen word2vec | google code 事前知識として A yet another brief introduction to neural networks Statistical Semantic入門 ~分布仮説からword2vecまで~ word2vec install pip でインストールできます。 $ sudo pip install word2vec 英語のモデルファイルが、下記の使い方
mecab, cabocha, juman, knpの処理速度とか - Into the Horizon
knpを初めて使ってみたら結構処理が遅かったので、どれくらい速度に差があるのか検証してみました。 速度のオーダーを確かめてみる程度の検証です（真面目な検証ではない） ■実験設定 pythonからsubprocessを使って*1各ツールを呼び出し ウェブコーパスからn文を解析して、1文辺りの時間を計測、ツール間で比較しました KNPは解析速度が文字数により指数的に低下するようなので、KNPについては文字数を変えて実験してみました。（mecab, cabochaはそこまで文字数に依存しない） 日本語の1文は、だいたい30~40文字くらいの目安感です（きっちりした文章だともうちょい長い） 40文字ってどれくらいかと言うと 「特に上流部なんかは補充が効かないところが多く、一度やられると少し時間がかかります」 これできっちり40文字。 ■実験結果 解析器 入力文数 1文の文字数 実行時間 1文辺りの
Python で Mecabを利用する【mac】 - 39Si
形態素解析ツールである Mecab を Python から使えるようにした。 他にも形態素解析に用いられるものは存在したが、 Mecab がもっとも一般的のようだったので、今回はこちらを使うことにした。 環境 ・MacBook Air - OS X Yosemite mecabの導入 まずはMecabをHomebrewでいれる。 方法は以下のページを参考にした。 Pythonでつくる検索エンジン(Webクローラ, Mecab, MongoDB, Flask) - c-bata web $ brew install mecab $ brew install mecab-ipadic 動作テスト terminal で mecab と入力して、適当な日本語入れる。 無事に動いた。 $mecab 今日はいい天気ですね。 今日 名詞,副詞可能,*,*,*,*,今日,キョウ,キョー は 助詞,係助詞,
Pythonでつくる検索エンジン(Webクローラ, Mecab, MongoDB, Flask) - c-bata web
検索エンジン自作入門 ~手を動かしながら見渡す検索の舞台裏 作者:山田 浩之,末永 匡発売日: 2014/09/25メディア: 単行本（ソフトカバー） (この記事で紹介しているのはTF-IDFとかの計算もない簡素なものです。) はじめに Webサービスのプログラミングに必要なことのだいたいは、スクレイピングに学んだ - Line 1: Error: Invalid Blog('by Esehara' ) この前↑の記事をみかけました。クローリングやスクレイピングは、色々と応用が効きそうなのでしっかり勉強したい。 PythonではScrapyという有名なクローリング・スクレイピング用のライブラリがありますが、今回は勉強としてScrapyを使わずに実装してみる。流れとしては以下のとおり Webクローラの構築 Mecabで日本語の形態素解析 検索エンジンの構築 データをMongoDBに格納 Fl
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
