Introduction | Machine Learning | Google for Developers
Introduction Stay organized with collections Save and categorize content based on your preferences. Text classification algorithms are at the heart of a variety of software systems that process text data at scale. Email software uses text classification to determine whether incoming mail is sent to the inbox or filtered into the spam folder. Discussion forums use text classification to determine w
有効なWikiNameではありません - LANGUAGE MEDIA PROCESSING LAB
[日本語] / [English] 京都大学 大学院情報学研究科 知能情報学コース 言語メディア分野（工学部電気電子工学科） 研究室へのアクセス JUMAN は有効な WikiName ではありません。 サイトポリシー
Statistical Semantic入門 ~分布仮説からword2vecまで~
1. The document discusses various statistical and neural network-based models for representing words and modeling semantics, including LSI, PLSI, LDA, word2vec, and neural network language models. 2. These models represent words based on their distributional properties and contexts using techniques like matrix factorization, probabilistic modeling, and neural networks to learn vector representatio
Word2Vec：発明した本人も驚く単語ベクトルの驚異的な力
Word2Vecとは Word2Vecで演算処理する Word2Vecとニューラルネットワーク Word2Vecの仕組み CBoW Skip-gram Word2Vecを応用することができる分野 レコメンド 機械翻訳 Q&A・チャットボット 感情分析 Word2Vecの弱点 Word2Vecの派生系や類似ツール GloVe WordNet Doc2Vec fastText まとめ 参考 世界中のWebサイトの数は2014年に10億件を超えたようだ。そして、Facebookのユーザー数だけでも16億人を超えている。 そして、そのいずれもコンテンツの中身の大部分はテキストから成り立っていることだろう。 ということは、莫大に増大し続けるネット上のデータのほとんどはどこかの国の言葉だってことだ。世界中の人が毎日テキストデータを生成し続けたことはこれまでの歴史上無かったんじゃないだろうか。 もしそん
word2vecのソースを読んでみた - Qiita
単語の意味をベクトルで表現する手法であるword2vec。検索するといろんな方の解説が見つかります。その解説とソースコードを見比べながら、自分なりに勉強してみました。 今回はword2vecのC#実装であるWord2Vec.Netのソースで勉強しました。ロジックは元々のC言語による実装とほとんど同じなので、このソースで勉強しても問題ありません。また、この方がVisualStudioのデバッガが使えるので追いやすいです。 word2vecには学習アルゴリズムとして「C-BOW」と「Skip-gram」の２種類の手法が紹介されていますが、今回は「Skip-gram」について勉強しました。計算量を抑えるやり方としては「階層的ソフトマックス」と「Negative Sampling」の２種類がword2vecのプログラム中に実装されていますが、今回は「Negative Sampling」を勉強しまし
Kneser-Ney Smoothing を試してみた - 木曜不足
Kneser-Ney Smoothing は高性能な言語モデルである。と、よく聞かされて知っているつもりだけど、まだ一度も試したことがなかったので、試してみた。 コードはここ。 https://github.com/shuyo/iir/blob/master/ngram/knsmooth.py 実験用にべったり書いているのでコピペは多いし、速度やメモリの効率も悪いが、まあ気にしないで。 コーパスは最初手元の適当なニュースコーパスを使っていたんだけど、それだと再現検証できないので、nltk のコーパスを使うように変更した。 nltk.corpus の下にあるコーパスモジュール名を -c オプションで与えると、そのコーパスを使って additive smoothing と Kneser-Ney smoothing の perplexity を出してくれる。 デフォルトでは Brown コーパス
H24:Introduction to Statistical Topic Models
統計数理研究所 H24年度公開講座 「確率的トピックモデル」サポートページ 講師: 持橋大地 (統数研), 石黒勝彦 (NTTコミュニケーション科学基礎研究所) 講義スライド 持橋分 (2013/1/15) [PDF] (12MB) 石黒分 (2013/1/16) [PDF] ソフトウェア UM (Unigram Mixtures) um-0.1.tar.gz DM (Dirichlet Mixtures) dm-0.1.tar.gz, dm-0.2.tar.gz PLSI (Probabilistic Latent Semantic Indexing) plsi-0.03.tar.gz (外部サイト) LDA (Latent Dirichlet Allocation) lda-0.1.tar.gz 参考文献 「私のブックマーク: Latent Topic Model (潜在的トピックモデ
Gensim: topic modelling for humans
✔ Train large-scale semantic NLP models ✔ Represent text as semantic vectors ✔ Find semantically related documents from gensim import corpora, models, similarities, downloader # Stream a training corpus directly from S3. corpus = corpora.MmCorpus("s3://path/to/corpus") # Train Latent Semantic Indexing with 200D vectors. lsi = models.LsiModel(corpus, num_topics=200) # Convert another corpus t
SimString - 高速かつシンプルな類似文字列検索ライブラリ
SimStringは，類似文字列検索のための高速かつシンプルなライブラリです． 類似文字列検索とは，文字列集合（データベース）の中から，クエリ文字列との類似度が閾値以上のものを，見つけ出す操作です． クエリ文字列と完全に一致しなくても，データベース中の似ている文字列を検索することができるので，スペル訂正，あいまい計算，柔軟な辞書マッチング，重複レコード検出，データベース統合など，様々なアプリケーションを構築できます． SimStringは，類似度関数として，コサイン係数，ジャッカード係数，ダイス係数，オーバーラップ係数に対応しています． 文字列の類似度を計算するための特徴量としては，文字nグラムをサポートしています． SimStringには，次のような特徴があります． 高速な類似文字列検索アルゴリズム．Google Web1T の英語単語（13,588,391文字列）から，コサイン類似度が
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - saffsd/langid.py: Stand-alone language identification system
GitHub - piskvorky/gensim: Topic Modelling for Humans
株式会社レトリバ
GitHub - facebookresearch/fastText: Library for fast text representation and classification.
GitHub - alexandres/lexvec: This is an implementation of the LexVec word embedding model (similar to word2vec and GloVe) that achieves state of the art results in multiple NLP tasks
はてなブックマーク全文検索の精度改善
言語処理100本ノック 2015
GitHub - tarowatanabe/expgram: expgram: an ngram toolkit with succinct storage
Google Code Archive - Long-term storage for Google Code Project Hosting.
GitHub - clips/pattern: Web mining module for Python, with tools for scraping, natural language processing, machine learning, network analysis and visualization.
潜在的意味インデキシング（LSI）徹底入門 - あらびき日記
