Tsukuba.R#5の発表資料 - yasuhisa's blog
Rの基本データ構造をもっと理解しよう id:syou6162 自己紹介 吉田康久 id:syou6162 syouでおk Tsukuba大学のM1 Tsukuba.Rの近況(?)その1 Tsukuba.Rの活動が熊本でも知られているみたいで、ちょっと発表してきた やっちろ.Rの発表資料 - Seeking for my unique color. Tsukuba.Rの近況(?)その2 RubyKaigiにスタッフとして参加 クレジットのところにTsukuba.R id:wakuteka、id:mickey24、id:negaton、id:syou6162 今回の内容 基本に戻って、Rで重要なデータ構造のおさらいをしよう 前回(#4)はCでの拡張とかだったので。。。 データ構造とそれに関連する便利な関数を絡めて紹介 慣れている人にも何か新しい発見があるように 話の中でいくつかのパッケージを軽
tutorials [Auton Lab]
By: Jeff Schneider, Mary Soon Lee, Andrew Moore Description: A tutorial on using the Windows Vizier software, which provides a GUI for doing fast and autonomous locally weighted learning and nearest neighbor style learning. The Vizier software itself is available for free download at http://www.cs.cmu.edu/~awm/vizier, where you will find more details. Description: This is a link to the Auton Codin
Rによる最適化、パラメータ推定入門 - yasuhisa's blog
パラメータの推定、でもその前に optimize関数について 補足 パラメータの推定 ベルヌーイ分布 定式化(尤度関数) 尤度関数の実装 尤度関数の最適化(パラメータ推定) 正規分布におけるパラメータ推定 まとめ パラメータの推定、でもその前に統計におけるパラメータの推定というのは大体最適化問題に帰着します。「なんとか関数を(最大|最小)にするようなパラーメータほにゃららを求めたい」とまあこんな感じで。というわけで、パラメータ推定は置いておいて、Rで最大化問題、最小化問題をどう解くかというところを最初にやってみようと思います。最適化問題は離散最適と連続のほうの最適に分けられますが、ここでは連続についての最適化問題について考えることにします。 optimize関数について Rにおける最適化をするための関数はoptim関数、optimize関数があります(他にもnlsなどありますが、とりあえず
カノログ: 良質な教科書系ウェブサイト集(改訂版)
23歳、公務員です。今度お金を借りようと思っているのですが、それについて少し反対意見ももらっているので、それについてお聞きしたい事があります。 私の今回お金を借りる理由というのが、やむを得ない場合というよりも娯楽目的であるというのが正しい表現となります。娯楽という事ではっきり言ってしまえば、最悪お金を借りないとあっても別に生活が脅かされる事もありません。娯楽というのはあくまで余暇を楽しむ為のものですので、人生まで賭けるほどというわけではありません。 だから、娯楽の為にお金を借りると言うと身の回りの人は多くが反対するので、正直ちょっと迷い始めています…私としては自分で借りて自分で返済していくのだから、別にいいじゃないかというのが本音です。でも周りはそうは思ってくれないし…ここまで反対されるというのなら、止めるべきなのでしょうか？意志が弱い質問となり申し訳ないですが、ご意見をお聞かせ願えるでし
DO++ : 部分文字列の話
ここしばらく、部分文字列の統計量を利用した機械学習やデータマイニングをやっている。そこの話からちょっと抜粋。 長さnの文字列T[1,...,n]が与えられた時、T中に出現する部分文字列T[i...j] (1≦i≦j≦n）の数はn個の中からiとjの2箇所を選ぶのでO(n^2)個ある。例えば、n=10^6(1MB)だったら、部分文字列の数は約10^12個(1T)と非常に大きい。 しかし、これらの部分文字列の出現位置は同じである場合が多い。例えばT="abracadabra"であれば、"abra"と"abr"の出現場所は1番目と8番目であり、全く同じである。 では出現位置（部分文字列の左端を出現位置とする）が全く同じであるような部分文字列をまとめてグループにした場合、グループの数はいくつになるのだろうか。 これは接尾辞木（wikipedia 授業の資料）を知っているなら簡単に説明できる。 Tに対
内装はオフィスデザイン設計をすべき理由｜こだわりたい！オフィスデザイン
企業にとってオフィスデザインは重要な要素で、あらゆる部分に影響を及ぼします。適切なデザイン設計すれば、仕事効率をアップすることができます。 さらに家具を搬入するときも楽になるのでメリットは多いです。ただやみくもにデザインをしても、うまくいきません。また素材なども考慮しないといけないので、計画的にデザインを練る必要があります。 そこでどのようなデザインをすれば使いやすいオフィスになるのかを紹介しましょう。 オフィスデザインをすれば仕事効率をアップできます。例えば動線を確保することができるので、他のスタッフの通行の邪魔にならずスムーズな行き来をすることが可能です。 また家具を搬入するときも、すでに設置している家具の邪魔をせず置くことができるので便利です。オフィスデザインはやみくもにするのではなく、業態に合った設計をする必要があります。 例えば打ち合わせの多い会社なら、社員のデスクはつくらず自由
マルコフ情報源のエントロピー
マルコフ情報源のエントロピー Entropy of Markov source ホーム 情報通信のハイパーテキストは下記へ移動しました。 http://www.mnc.toho-u.ac.jp/v-lab/ お探しの内容は、下記の目次にあります。 http://www.mnc.toho-u.ac.jp/v-lab/yobology/index.htm
第6回 N-gramと形態素解析との比較 | gihyo.jp
これまでに、N-gramと形態素解析の2つの検索エンジンの、見出し語の切り出し方法を説明しました。今回は、2つの見出し語の切り出し方法を比較し、それぞれの得意な点、不得意な点を明らかにしていきます。 2つの手法の概要 はじめに、2つの手法をおさらいしてみます。 形態素解析 検索対象のテキストを形態素解析を行い分かち書きを行う 分かち書きした単位を見出し語として転置インデックスを作成する 転置インデックスを元に検索を行う N-gram 検索対象のテキストをN文字単位の文字列片に分解する 分解した文字列片を見出し語として転置インデックスを作成する 検索語をN文字単位の文字列片に分け検索を行う 文字列の出現位置情報を利用すれば、漏れのない完全一致の検索が可能 大きな違いは、「転置インデックスの見出し語をどのように作るか」というプロセスが異なる点です。形態素解析は構文解析を行って分かち書きを行う
perl - Text::Tx now released! : 404 Blog Not Found
2009年02月22日00:15 カテゴリ perl - Text::Tx now released! 以前作って放置してあったText::Tx を、CPAN にも Release したのでお知らせします。 /lang/perl/Text-Tx/L/trunk - CodeRepos::Share - Trac Dan Kogai / Text-Tx/ - search.cpan.org http://www.dan.co.jp/~dankogai/cpan/Text-Tx-0.02.tar.gz 404 Blog Not Found:perl - Text::Tx も一応作った CPANにまだ上げない理由その一。txはlibraryとして素直に使うにはちょっと問題があるのです。 もう一つは、なぜか Mac OS X v10.4.11 の gcc 4.0できちんとcompileしないこと。
Python でグラフ・(疎)行列計算するためのライブラリを紹介するよ - 武蔵野日記
PageRank とか HITS といったリンク解析ではグラフの計算が頻発するのだが、Python でそのあたり書くときの話をまとめてみる。グラフは行列で表現できる(ノード×ノード次元の行列 A を考えて、ノード i からノード j にエッジがあるとき、A[i,j] に値を入れておけばよい。無向グラフのときは A[i,j] = A[j,i] なので対称行列になる)ので、要は行列を手軽に扱えるライブラリの紹介である。 実は Python の行列演算ライブラリはどれも lapack/blas を内部的に呼んでいるので、C/C++ 等と比較してもそんなに遅くない。それどころか、自動的に並列化できるところは並列化してくれたりするので、まれに C より速いこともあるらしい。特に巨大なグラフを作る場合、ほとんどの処理は C などで書かれた関数に飛ぶので、速度的な問題は無視してもいいくらいである(逆に、
リンク解析とか: 重要度尺度と von Neumann カーネル - smly’s notepad
NAIST の入学手続を終えた. 残りの期間はサーベイするぞーということで shimbo 先生の講義資料「リンク解析とその周辺の話題」を読んでいます. 一日目, 二日目の資料は PageRank, HITS, SALSA などの重要度尺度の紹介と, von Neumann Kernels と HITS の関係についてのお話が中心. これらを実装してみた. 後半に進むほど力尽きて記述が適当になってます:)PageRankポイントはランダム遷移行列による random walk では定常分布に収束しない (エルゴード性 (ergodic) を満たさない) という点. どうして満たさないかというと. sink (出次数のない節点) が存在するとき, 明らかに既約 (irreducible) でないのでエルゴード性を満たさない. 複数の強連結成分を持つケース => 周期性を持つと考えてよい? 周期
Introduction to Information Retrieval #18 の復習資料 - naoyaのはてなダイアリー
Introduction to Information Retrieval 輪読会 18章の復習資料を以下にアップロードしました。 http://bloghackers.net/~naoya/iir/ppt/iir_18.ppt 18章のテーマは "Matrix decompositions and latent semantic indexing" で、行列の特異値分解と Latent semantic indexing (LSI, 潜在的意味インデキシング) でした。ベクトル空間モデルの核である単語文書行列を特異値分解を用いて低階数近似し、計算量を下げながらも*1適合度を向上させるという LSI についての解説の章です。LSI に関しては http://d.hatena.ne.jp/naoya/20090212/latent_semantic_indexing にて先日少し言及しました
最大マージン kNN と SVM の関係: kNN も最近はがんばっています - 武蔵野日記
先日書いた機械学習における距離学習の続き。 kNN (k-nearest neighbour: k 近傍法)は Wikipedia のエントリにも書いてある通り、教師あり学習の一つで、あるインスタンスのラベルを周辺 k 個のラベルから推定する手法。memory-based learning と呼ばれることもある。単純に多数決を取る場合もあれば(同点を解決する必要があるが)、近いインスタンスの重みを大きくする場合もあるのだが、いずれにせよかなり実装は単純なので、他の機械学習との比較(ベースライン)として使われることも多い。 簡単なアルゴリズムではあるが、1-NN の場合このアルゴリズムの誤り率はベイズ誤り率(達成可能な最小誤り率)の2倍以下となることが示されたり、理論的にもそれなりにクリアになってきているのではないかと思う。また、多クラス分類がちょっと一手間な SVM (pairwise に
How to Design a Good API and Why it Matters
_How to Design a Good API and Why it Matters1 How to Design a Good API and Why it Matters Joshua Bloch Principal Software Engineer _How to Design a Good API and Why it Matters2 Why is API Design Important? • APIs can be among a company's greatest assets _ Customers invest heavily: buying, writing, learning _ Cost to stop using an API can be prohibitive _ Successful public APIs capture customers •
YahooとGoogleからの訪問ユーザーの違いと特性
2006年にWebSideStory社が行った調査でGoogleユーザーよりもYahooユーザーのほうが商品を購入する確率が高いと言うことは結構有名な話でもある。 3年前に適当に作った、主要検索エンジンからの訪問者別購入率を調べるツールも、この上の話と同様の数値を出している。 しかし、年を重ねるごとに、Yahooユーザーの商品購入率が増えていると言うことに気がついた。 Googleはさらに減少傾向 統計を取る仕組みはものすごく簡単な仕組みで、PHPで作ったものです。 訪問して来たユーザーのひとつ前の訪問先を調べ、それが検索エンジンかどうかをチェック。 そのユーザーに対して、PHPでsessionを発行するというもの。 sessionを発行したユーザーの行動情報はこちらでわかるため、どのページを閲覧する傾向にあるとか、どの文字をクリックしやすいかという統計が取れます。 また、どの検索エンジン
Google WSDM'09講演翻訳：大規模な情報検索システム構築における課題（１） - llameradaの日記
GoogleのFellowであるJeffrey Dean氏のWSDM'09における講演"Challenges in Building Large-Scale Information Retrieval Systems"のスライドを翻訳してみました。Googleの検索システムの10年間の進化の軌跡が紹介されており、興味深い話が満載です。個人的にはディスクの外周部と内周部を使い分けている話がツボでした。なお、イタリック体で一部解説・感想をいれています。翻訳は素人なので詳しくは元の資料を参照してください。 スライドの入手元：Jeffrey Dean – Google AI 検索システムに取り組む理由 チャレンジングなサイエンスとエンジリアニングのブレンド 多くの魅力的な未解決な問題が存在する。 CS（コンピュータサイエンス）の多数の領域にまたがる。 アーキテクチャ、分散システム、アルゴリズム、圧
自然言語処理における類似度学習(機械学習における距離学習)について - 武蔵野日記
Twitter でグラフ理論に関する話題が上がっていたので、最近調べている距離学習(distance metric learning)について少しまとめてみる。カーネルとか距離(類似度)とかを学習するという話(カーネルというのは2点間の近さを測る関数だと思ってもらえれば)。 この分野では Liu Yang によるA comprehensive survey on distance metric learning (2005) が包括的なサーベイ論文として有名なようだが、それのアップデート(かつ簡略)版として同じ著者によるAn overview of distance metric learning (2007) が出ているので、それをさらに簡略化してお届けする(元論文自体本文は3ページしかないし、引用文献のあとに表が2ページあって、それぞれ相違点と共通点がまとまっているので、これを見ると非
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Web単語共起
Second Garage - 東大情報基盤センターの最適化マニュアルが秀逸な件
IDEA * IDEA
