明日使える超高速Ruby - RXbyak (Mitaka.rb #5)
11. Rubyにもいいところはある • ネットワーク構造をDSL で表現！ – ネットワークを変えての実験が容易 # units in_units = [Unit.new("x1"), Unit.new("x2")] hiddenunits = (1..6).map{|i| TanhUnit.new("z1#{i}")} out_unit = [SigUnit.new("y1")] # network network = Network.new(:error_func=>ErrorFunction::CrossEntropy) network.in = in_units # 入力 network.link in_units, hiddenunits # 入力 → 隠れユニット network.link hiddenunits, out_unit # 隠れユニット → 出力 network
大規模データを基にした自然言語処理 - DO++
人工知能基本問題研究会 (SIG-FPAI)でタイトルの題目で一時間ほど話してきました。 発表資料 [pptx] [pdf] 話した内容は - 自然言語処理における特徴ベクトルの作り方と、性質 - オンライン学習, Perceptron, Passive Agressive (PA), Confidence Weighted Learning (CW) 確率的勾配降下法 (SGD) - L1正則化, FOLOS - 索引を用いた効率化, 全ての部分文字列を利用した文書分類 で、スライドで70枚ぐらい。今までの発表とかぶっていないのはPA CW SGD FOLOSあたりでしょうか オンライン学習、L1正則化の話がメインになっていて、その両方の最終形の 確率的勾配降下法 + FOLOSの組み合わせは任意の損失関数に対してL1/L2正則化をかけながらオンライン学習をとても簡単にできるという一昔前
FOBOSを使ってSVMやロジステック回帰を実装しよう!!! - yasuhisa's blog
原稿も出したし、次のネタのために論文読んでたけど全然分からないし(ダレカタスケテ!!!)、3連休だし、現実逃避したい!!!ということでFOBOSの論文を読んだりしていました。なんでFOBOSかっていうと、就活の面接のときに「SVMとか(使った、じゃなくって)実装したことがありますか?」と聞かれてNoとは答えられないので...とかいうのは嘘ですが、PFIのBlogでid:tkngさんがFOBOSを紹介する記事を書かれていたからでした*1。 劣微分を用いた最適化手法について(1) | Preferred Research 劣微分を用いた最適化手法について(2) | Preferred Research 劣微分を用いた最適化手法について(3) | Preferred Research 劣微分を用いた最適化手法について(4) | Preferred Research 劣微分を用いた最適化手法につい
k平均法 - Wikipedia
k平均法（kへいきんほう、英: k-means clustering）は、非階層型クラスタリングのアルゴリズム。クラスタの平均を用い、与えられたクラスタ数k個に分類することから、MacQueen がこのように命名した。k-平均法（k-means）、c-平均法（c-means）とも呼ばれる。 何度か再発見されており、まず、Hugo Steinhusが1957年に発表し[1]、Stuart Lloydが1957年に考案し、E.W.Forgyが1965年に発表し[2]、James MacQueenが1967年に発表しk-meansと命名した[3]。 数式で表現すると、下記最適化問題を解くアルゴリズム[4]。本アルゴリズムでは最小値ではなく初期値依存の極小値に収束する。 単純なアルゴリズムであり、広く用いられている。分類をファジィ化したファジィc-平均法やエントロピー法をはじめ、データ構造を発見す
PythonでPLSAを実装してみる
probabilistic latent semantic analysis (PLSA)は、 ・文書dがP(d)で選ばれる ・潜在変数zがP(z|d)で選ばれる ・語wがP(w|z)で生成される というプロセスを経て、結果として(d,w)のペアが観測されるという文書と語の生成モデル。 式で表すと (1) となる。P(d,w)の尤もらしい確率分布を見つけたい。対数尤度関数は (2) となる。n(d,w)は語wが文書dに出現する回数。この式は訓練データn(d,w)（;どの語がどの文書に何回出現したか）が尤もらしい確率分布P(d,w)に従うとき最大になる。ベイズの定理を用いると (3) となることを利用して、この尤度関数を最大化するためにEMアルゴリズムを用いて実装してみる。（過学習を回避するために文献ではTempered EM (TEM)を用いている。）尤度関数が収束するまで以下のE-ste
言語処理学会へ遊びに行ったよ
2. 自己紹介 ● 金融機関で金融工学の研究員 ● 大学院でテキストマイニングを学ぶ ● 言語処理を用いてコミュニケーションの活性化を図 りたい！ ● toilet_lunch, todesking達とすき焼きしてたら、い つの間にかテキストマイニング勉強会発足してた 2 4. 学会へ遊びに行こう！ ● 専門の学生か、GとかYとかIとか、ごく一部の企業 に所属していないと、最新技術動向は掴めない ● 学会に行けば、最新の情報がわんさか手に入る！ ● すごい人達と知り合いになって、仕事して貰ったり 仕事貰ったりする！ ● 自分の疑問点や手法について議論できる！ ● 学会参加費はそんなに高くないよ！ ● そうは言っても中々敷居が高く感じられるので、ま ずはテキストマイニングマスター達のブログで キャッチアップしよう 4 5. 必ずチェックすべき10のブログ 1. コーパスいぢり（langsta
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Code Archive - Long-term storage for Google Code Project Hosting.
「箱根」に該当するホテル・宿一覧の検索結果 - じゃらんnet