サーバハードウェアの更新に伴い、本サイトのURLが変更になりました。 新しいURLは https://geocode.csis.u-tokyo.ac.jp/ です。 ブックマークやリンクを変更していただければ幸いです。 今後ともよろしくお願いいたします。
サーバ移転のお知らせ – 位置参照技術を用いたツールとユーティリティ
サーバハードウェアの更新に伴い、本サイトのURLが変更になりました。 新しいURLは https://geocode.csis.u-tokyo.ac.jp/ です。 ブックマークやリンクを変更していただければ幸いです。 今後ともよろしくお願いいたします。
YamCha: Yet Another Multipurpose CHunk Annotator
$Id: index.html,v 1.37 2005/12/24 14:18:58 taku Exp $; Introduction YamCha is a generic, customizable, and open source text chunker oriented toward a lot of NLP tasks, such as POS tagging, Named Entity Recognition, base NP chunking, and Text Chunking. YamCha is using a state-of-the-art machine learning algorithm called Support Vector Machines (SVMs), first introduced by Vapnik in 1995. YamCha is e
テキストからWikipedia見出し語を抽出 - 人工知能に関する断創録
WindowsでMeCab Pythonを使う（2010/11/21）のつづきです。形態素解析を使ってると単語が変なところで切れていたり、未知語が多かったりと不満点が出てきます。また、応用によっては、形態素ではなく、複合語単位で抽出したいということもしばしばあります。たとえば、 人工知能は、コンピュータに人間と同様の知能を実現させようという試み、あるいはそのための一連の基礎技術をさす。 人工知能という名前は1956年にダートマス会議でジョン・マッカーシーにより命名された。 現在では、機械学習、自然言語処理、パターン認識などの研究分野がある。（Wikipedia『人工知能』を改変）という文章をMeCabで形態素解析して名詞のみ取り出すと、 人工 知能 コンピュータ 人間 同様 知能 実現 試み ため 一連 基礎 技術 人工 知能 名前 1956 年 ダート マス 会議 ジョン マッカーシー
Latent Dirichlet Allocations(LDA) の実装について - 木曜不足
昨日の "Latent Dirichlet Allocations in Python" の続きで実験結果を載せようかと思ったけど、先にやっぱりもうちょっと LDA を説明しておこう。 LDA の初出は [Blei+ 2003] Latent Dirichlet Allocation 。 ただし [Blei+ 2003] で "LDA" としているのはトピック-単語分布がただの多項分布(事前分布無し)のもの。"LDA" としてよく目にするトピック-単語多項分布にディリクレ事前分布が入ったものは "Smoothed LDA" として記載されている(確かにβでスムージングしているのと等価)。 今回実装した LDA も後者の "Smoothed LDA"。 その LDA はこんな感じ。αとβはハイパーパラメータだから、チビ黒丸で書いて欲しいんだけどね。 (図は Wikipedia-en の LD
LDA(Latent Dirichlet Allocation)のちょっとしたメモ - EchizenBlog-Zwei
変分ベイズの復習のためにLDAを再実装しようかと思っている。記憶の整理を兼ねて概要をメモしておく。一応初心者向けに書いたつもり。 Latent Dirichlet Allocation D.M.Blei et al LDAは文書集合Dに関する分布をモデリングしていて、αとβというふたつのパラメータを持っている。文書集合Dは個々の文書wで構成されている。つまり P(D;α,β) = ΠP(w;α,β)というかたち。ここで与えられた文書集合Dの尤度を最大化するようなパラメータを求めたい。 LDAは文書を構成する単語はいくつかのトピックに属していると考える。このトピックの種類は事前に与えてあげる必要がある。以下ではトピック数をkとしておく。 パラメータαはサイズkのベクトルでトピックのもともとの出やすさを表す。今回はすべてのトピックを等価に扱うことにする。つまり α = (1, 1, ...,
PeerSoN - Peer-to-Peer Social Networking
Online Social Networks like Facebook, MySpace, Xing, etc. have become extremely popular. Yet they have some limitations that we want to overcome for a next generation of social networks: privacy concerns and requirements of Internet connectivity, both of which are due to web-based applications on a central site whose owner has access to all data. To overcome these limitations, we envision a paradi
株価データ
1987年8月以降の東証、大証全銘柄の全銘柄株価データ、銘柄別株価データを無料でダウンロードできる。また、東証、大証全銘柄の最長26年分の日足データを収録したCD-ROMを30000円（税別）で販売している。
Class: Statsample::Factor::PCA
Principal Component Analysis (PCA) of a covariance or correlation matrix.. NOTE: Sign of second and later eigenvalues could be different using Ruby or GSL, so values for PCs and component matrix should differ, because extendmatrix and gsl’s methods to calculate eigenvectors are different. Using R is worse, cause first eigenvector could have negative values! For Principal Axis Analysis, use Statsam
開発メモ: Wikipedia日本語版で英辞郎を鍛える
Wikipedia日本語版をMeCabで解析して作った頻度DBで、英辞郎の説明文を並び替えることでポップアップ辞書への最適化をさらに推進してみた。 背景 Kindleで使える英和辞書を作っている。元ネタとしては英辞郎を利用し、収録語の選別をCOCAとWikipedia英語版から作ったN-gram頻度DBで行い、WordNetで品詞を補完したところで、かなり実用性の高い辞書ができた。とはいえ、人間の欲は限りなく、使い込むほどに改善点が浮んでくるものである。 一つの語が複数の意味を持っている場合、一般的によく使われる順に並んでいてほしい。ポップアップ表示した際の表示文字数は限られているため、最初の方に特殊な用法が並べられると、そのビューでは意味が把握できない。ポップアップの中にある「show full description」ボタンを押せば全部の意味を見ることができるが、そこに時間をかけではポ
開発メモ: Kindleで快適に英和辞書（英辞郎）を使うための手順
Kindleで洋書を読みたいが、俺は英語があんまり得意でないので、デフォルトの英英辞書だとちょっとつらい。そこで、英辞郎を使えるようにしてみた。その方法をメモしておく。 背景 先日サンタさんからKindle Touchを貰った。ちっこくて可愛いし、文字も見やすいし、お気に入りのデバイスである。英語が苦手な俺も、文中の知らない単語をタッチするだけで意味がわかるから難しめの洋書もスラスラ読めちゃう。…はずだったが、付録の英英辞書は辛すぎる。仮に "explosion" がわからないとして、辞書を引いてみると、"a violent and destuctive shattering or blowing apart of something, as is caused by a bomb." という説明が出てくる。これを読んで「爆発」ってことだなと理解するのには1分くらいかかりそうだ。もちろんそ
開発メモ: WordNetで英辞郎を補完する
英辞郎の野良Kindle版を作るにあたり、WordNetのデータを使ってデータの質を向上させてみたら、なかなかうまくいった。品詞タグの補完と収録語の再選定ができた。 英辞郎の品詞タグ 英辞郎の収録語には動詞や名詞などの品詞がタグとしてつけられていてとても便利である。例えばこんなのだ。 drug [名] 麻薬、薬物、覚醒剤、ドラッグ [名] 薬 [自動] 薬物中毒である、麻薬漬けになっている [他動] ...に薬を飲ませる、麻酔をかける、（人）に薬を盛る［一服盛る］ ただ、残念ながら、全ての収録語に付けられているわけではない。マイナーな語や熟語や慣用句には付いてないことが多い。人間が読む分には品詞タグがなくても説明文から品詞を推定でないことはないが、やっぱりタグ付けしてあった方が一目で理解しやすい。Kindleのポップアップ辞書として使うならなおさらだ。また、機械がデータを使う場合にも品詞タ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Photo Tourism: Microsoft Research, Interactive Visual Media Group
GitHub - ealdent/lda-ruby: A Ruby wrapper for Latent Dirichlet Allocation (LDA).
LDA入門
http://www.iplab.cs.tsukuba.ac.jp/~misue/univonly/library/visweek2011/infovis/papers.html
PeerSoN - People
VAST Challenge 2012
edatalab.net
株価データダウンロードサイト
http://rabbit.media.osaka-cu.ac.jp/research/index.php/Z%E6%9B%B2%E7%B7%9A%E3%82%92%E7%94%A8%E3%81%84%E3%81%9F%E5%8A%B9%E7%8E%87%E7%9A%84%E3%81%AA2%E6%AC%A1%E5%85%83%E4%BD%8D%E7%BD%AE%E6%83%85%E5%A0%B1%E3%81%AE%E5%88%86%E6%95%A3%E7%AE%A1%E7%90%86%E6%89%8B