Ted Pedersen - SenseClusters
SenseClusters is a package of (mostly) Perl programs that allows a user to cluster similar contexts together using unsupervised knowledge-lean methods. These techniques have been applied to word sense discrimination, email categorization, and name discrimination. The supported methods include the native SenseClusters techniques and Latent Semantic Analysis. You can see a video tutorial entitled "L
Introduction to Information Retrieval #18 の復習資料 - naoyaのはてなダイアリー
Introduction to Information Retrieval 輪読会 18章の復習資料を以下にアップロードしました。 http://bloghackers.net/~naoya/iir/ppt/iir_18.ppt 18章のテーマは "Matrix decompositions and latent semantic indexing" で、行列の特異値分解と Latent semantic indexing (LSI, 潜在的意味インデキシング) でした。ベクトル空間モデルの核である単語文書行列を特異値分解を用いて低階数近似し、計算量を下げながらも*1適合度を向上させるという LSI についての解説の章です。LSI に関しては http://d.hatena.ne.jp/naoya/20090212/latent_semantic_indexing にて先日少し言及しました
SciPyを用いて潜在的意味解析(LSA) - 未来は僕以外の手の中
自然言語処理の技法の１つに、潜在的意味解析(LSA)というものがある。 単語文書行列Ａがあった場合、特異値分解(SVD)により Ａ=ＵΣＶ に分解し、特異値を大きいほうからk個使って Ａk=ＵkΣkＶk のように階数の低減を行うことで、階数kのＡへの近似を最小誤差で得ることができる。 つまり特異値分解の計算さえできてしまえばLSAもすぐできるわけだが、 pythonの数値解析モジュールScipyにかかれば特異値分解もあっという間である。 まずは特異値分解まで↓ from numpy import * from scipy import linalg A = matrix([ [5, 8, 9, -4, 2, 4], [2, -4, 9, 4, 3, 3], [-3, 4, 8, 0, 5, 6], [-2, 5, 4, 7, 0, 2] ]) u, sigma, v = linalg.sv
Word Embedding Analysis
Welcome lsa.colorado.edu users! This is an updated website that encompasses all of the old lsa.colorado.edu functionality and more. Overview Semantic analysis of language is commonly performed using high-dimensional vector space word embeddings of text. These embeddings are generated under the premise of distributional semantics, whereby "a word is characterized by the company it keeps" (John R. F
今回発表の流れ 論文紹介 • 潜在意味分析の紹介(Landauer, Foltz, & Laham, 1998) • Predication Algorithmの紹介(Kintsch, 1998) • メタファ理解への応用の紹介(Kintsch, 2000) 中本 敬子 kenakamoto@nifty.com • 感想
今回発表の流れ 論文紹介 • 潜在意味分析の紹介(Landauer, Foltz, & Laham, 1998) • Predication Algorithmの紹介(Kintsch, 1998) • メタファ理解への応用の紹介(Kintsch, 2000) 中本 敬子 kenakamoto@nifty.com • 感想 1 2 潜在意味分析、Predication algorithmとメタファ理解 潜在意味分析（LSA）とは？ • 大規模なテキストコーパスから単語の意味を 意味空間上のベクトルとして表現するための 数学的・統計的技法 • 大規模なテキストコーパスを扱い、今までの （心理学の）感覚からすると高次元での情報 圧縮を行い、様々な行動データの予測を行う のに成功したところに意義がある（と思う）。 3 基本コンセプト • 類似した意味を持つ単語は、類似した文脈の 中に現れる
心の空隙にて微睡む 2008年09月
卒論にて評価実験を行うにあたり、実験の概要の再確認やツールの現状などを確認するために 自分単独にて実験のデモっぽいものを実行してみた。 予定される実験ではTCMは予め用意するので、今回の実験デモでは先輩の作成したTCMを使用。 ※ただし今回は、TCM内の「出現単語の項目」のみが同一で、内部の単語ごとの品質特性に対するビットは自分で立て直した。 （過去の自分の分析結果と比較する際に「出現単語の統一」以外は同条件で行いたかったため） …で、とにかく実験デモをやってみた。 ・今回の実験デモではツールを使用したわけだが、現状ではまだハリボテ。 なによりセーブできないので、各要求文ごとのビットをエクセルでちまちま書き直した。（ここで時間をくった） ・ツールにスペックシートとTCMを読み込ませて作業するわけだが、 スペックシート、TCMともに、ビットをたててあるcsｖ内部の表の中にnull値（0の代わ
潜在意味解析 - Wikipedia
潜在意味解析（せんざいいみかいせき、英: Latent Semantic Analysis、略称: LSA）は、ベクトル空間モデルを利用した自然言語処理の技法の1つで、文書群とそこに含まれる用語群について、それらに関連した概念の集合を生成することで、その関係を分析する技術である。潜在的意味解析とも。 1988年、アメリカ合衆国でLSAの特許が取得されている[1]。情報検索の分野では、潜在的意味索引または潜在意味インデックス（英: Latent Semantic Indexing, LSI）とも呼ばれている。 LSA では、各文書における用語の出現を表した文書-単語マトリクスが使われる。これは各行が各単語に対応し、各列が各文書に対応した疎行列である。この行列の各成分の重み付けには tf-idf (term frequency–inverse document frequency) が用いられ
Latent semantic analysis - Wikipedia
Latent semantic analysis (LSA) is a technique in natural language processing, in particular distributional semantics, of analyzing relationships between a set of documents and the terms they contain by producing a set of concepts related to the documents and terms. LSA assumes that words that are close in meaning will occur in similar pieces of text (the distributional hypothesis). A matrix contai
Tsujii Lab. Enshu3 -- Latent Semantic Analysis (LSA)
Latent Semantic Analysis (LSA) 目次 背景 課題の流れ 背景 近年、情報検索が非常に重要となる一方で、その検索手法は未だにキーワード入力によるものが事実上標準となっています。しかし単語には同義語や、多義語が存在するために目的とする結果がなかなか得られない場合があります。例えば、木を用いたデータ構造を検索しようとして、treeと入力しただけでは目的のものが得られず、tree data structureでようやく狙った検索結果が上位に来ます（多義語の例）。 全ての単語に対し、どの単語同士が似た意味を持っているのか、または持っていないのかを調べることで、より柔軟性をもった情報検索ができる可能性があります（例えば、キーワードに「東大」としか入力していないのに検索結果では「東京大学」「最高学府」「University of Tokyo」が含まれる文書も検索できる）。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Latent Semantic Analysis - TargetWoman Women Blog
redirect
http://sugiura3.gsid.nagoya-u.ac.jp/project/ouyougengogaku/tscore.txt
http://www.r.dl.itc.u-tokyo.ac.jp/study_ml/pukiwiki/index.php?plugin=attach&refer=schedule%2F2008-11-06&openfile=PLSV.pptx
http://www.cs.cmu.edu/~htong/tut/cikm2008/part2_matrix_tensor.pdf
Google Scholar
Probabilistic Latent Semantic Analysis
書籍一覧・検索 » 確率的言語モデル - 東京大学出版会