scipy.sparseでの疎ベクトルの扱い – はむかず！
Pythonで疎行列を扱うライブラリであるscipy.sparseについて、自分がハマってきたところをまとめてみようと思う。とくに、行列よりもベクトルとして扱ったとき（つまり行または列の数が1のとき）の注意点をまとめる。 基本的なことばかりなのかもしれないが、日本語の情報は少ないので、それでも役に立てるかもと思いました。まあ自分の勉強ノートみたいなもんです。 基本 scipy.sparseで提供される疎行列の形式はいくつかあるが、ここではとくにCOO(COOdinate)形式、LIL(LInked List)形式、CSR(Compressed Sparse Rows)形式、CSC(Compressed Sparse Columns)形式について取り上げる。 それらの違いについて、詳細は本家のドキュメントを参照して欲しいが、すごく大雑把にまとめると、 CSR, CSC形式は、同じ型同士の掛け
SciPyでの疎行列の扱い、保存など - 未来は僕以外の手の中
Python、特にSciPyは日本語でのドキュメントが少ないので、メモがてら記述。 単語文書行列などでは大規模疎行列になることがよくある。 そこで格納方法の工夫などを行っていく必要がある。 最もスタンダードな方法としては圧縮行格納方式などがある。 基本的に疎行列の要素は0なので、非零の要素の位置だけ覚えておこうという発想。 もちろん(?)SciPyには疎行列を扱うモジュールsparseが用意されている。 lil_matrixにて疎行列を生成。引数には行列の大きさ(m, n)を指定。 from numpy import * from scipy import io, sparse A = sparse.lil_matrix((3, 3)) # 疎行列生成 A[0,1] = 3 A[1,0] = 2 A[2,2] = 5 【Aの型、中身】 3×3行列であること、および非零の位置のみ格納されてい
ICCV 2009 Tutorial
ICCV Tutorial on Sparse Coding and Dictionary Learning for Image Analysis General Information Note A few years after this tutorial was given, the following monograph was published. It contains most of the material of the tutorial and is self-content. J. Mairal, F. Bach and J. Ponce. Sparse Modeling for Image and Vision Processing. Foundations and Trends in Computer Graphics and Vision. vol 8. numb
scikit-learnでSparse CodingとDictionary Learning -実践編- - takminの書きっぱなし備忘録 @はてなブログ
この記事は@naoya_tさん主催の機械学習アドベントカレンダーの12月25日分の記事です。そして昨日のコンピュータビジョンアドベントカレンダー「Scikit-LearnでSparse CodingとDictionary Learning -理論編-」の続きです。 機械学習ACのサイトから来た方に簡単に自己紹介をすると、私はコンピュータビジョンや画像処理の分野でフリーランスをしているid:takminと言います。プロフィールはここにまとまってます。 ここではscikit-Learnを使ってSparse CodingとDictionary Learningを実装してみようと思います。Sparse CodingとDictionary Learningについて知らない方は、こちらの記事を先に読まれることをお勧めします。 scikit-learn（Pythonベースの機械学習ライブラリ）でSpar
scikit-learnでSparse CodingとDictionary Learning -理論編- - takminの書きっぱなし備忘録 @はてなブログ
この記事は@sakanazensenさん主催のコンピュータビジョンアドベントカレンダーの12月24日分の記事です。 本日のお題はSparse CodingとDictionary Learningをscikit-LearnというPythonの機械学習ライブラリを使ってやってみよう！というお話。 こちらのテーマを選んだ理由ですが、先日コンピュータビジョン勉強会＠関東で「Sparselet Models for Efficient Multiclass Object Detection」という論文を紹介した際、資料を作る時間がなくてSparse Codingの話を割愛してしまったので、その補足の意味もこめました。 とは言えSparse Codingもscikit-Learn(というよりPython自体)も勉強を始めたばかりのため、解説はあくまでツールを使う上での基本的な知識に留めたいと思います。
スパース行列(SparseMat)の使い方2：超解像 | OpenCV.jp
SparseMatをつかった超解像処理を行います．このデモンストレーションは下記論文の実装になっています．詳細は以下論文やビデオをご覧ください．また，このサンプルコードはOpenMPを有効化するとコアを有効に使います．メモリは１Gほど使うため実行時には注意してください． Farsiu, S.,Robinson, D., Elad, M., Milanfar, P.”Fast and robust multiframe super resolution,” IEEETrans.ImageProcessing 13 (2004)1327?1344. C++ //Super resolution with Bilateral Total Variation //Implimentation of a paper; //Farsiu, S.,Robinson, D., Elad, M., Mila
最速の疎ベクトルはどれだ - Preferred Networks Research & Development
海野です。 自然言語処理などで機械学習を行おうとすると、非常に疎なベクトル表現を使いたくなります。疎、というのはほとんどの要素が0である、という意味です。前々から疎ベクトルライブラリのパフォーマンスに関して気になっていたので、幾つか調べてみました。 Jubatus Workshopでも話したとおり、機械学習を適用しようとすると、普通は対象のデータをベクトル表現に落とします。特に言語データの場合は、それぞれの単語や文字などを特徴次元とするため、非常に疎なベクトルとなってしまいます。純粋な配列（C++で言えばstd::vector）を使ってしまうと、大量にメモリを食ってしまうため疎ベクトル専用の表現を使うのが普通です。 今日は様々な疎ベクトルライブラリのパフォーマンス比較を行おうと思います。比較したライブラリは以下のとおり。真の意味で、疎ベクトルのライブラリは、Eigenとublasだけで、残
魚でもわかるRandom Projection | さかな前線
いきなり始まった「魚でもわかる」シリーズ． 今回は情報科学系の方向け． 次元削減のいち手法である「Random Projection」を簡単に紹介します． 具体的にやってること，できることはものっそ簡単で，こないだBoostアドベ記事を書き上げてから寝付けなかったのでふと思い立って取り組んでみたら一発ですごいちゃんとできたのでブログにまとめるに至った次第(そしてその日はそのまま寝付けずに昼間死ぬかと思ったという)． 最初に知ったのはMIRU2011という，夏にあった学会でとある論文を読んだ時． もちろんわかってると思いますが，ツッコミ待ちです！！ 次元削減とは 機械学習やデータ処理あたりの用語で，高次元データをその情報をなるべく保ったまま低次元に変換するタスクやその技術を指します． 具体的な手法として主成分分析(PCA)や特異値分解(SVD)あたりはこの分野の院生クラスなら必須教養レベルっ
Microsoft PowerPoint - ランダムプロジェクションとスパースネス.pptm
ランダムプロジェクションとスパースネス 鈴木 大慈 東京大学情報理工学系研究科東京大学情報理工学系研究科 数理情報学専攻 2010/7/16→7/26 1 • Compressed Sensing (CS) - encoding – ランダムプロジェクション – Johnson–Lindenstrauss Lemma– Johnson–Lindenstrauss Lemma • Lasso & Dantzig Selector – decoding [Candes, Romberg, and Tao: Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency information. IEEE Trans. on Information Theory, 52(2)
疎行列のデータ構造入門再び - nursの日記
やあみんな。秋シーズンもいよいよ本番だね、今日なんかはもみじ狩りに最適なんじゃないかこれ。 以前疎行列のデータの持ち方について書いたけど読み返してみると本命のCCSやCRSの説明は最後までせずに回り道だけして終ってしまうという非常に残念な内容となっていたので反省もこめてちょっと書き直してみたよ。 みんなはCCSとかCRSとかって聞いたことあるかな。疎行列とは殆どの要素がゼロで、非ゼロ要素はわずかしかない行列のことだ。なので、だったらゼロでないもののみを覚えておけばいいじゃないかという発想だ。 簡単のため、５ｘ５の疎行列を考えよう（実際はもっと大きい要素数のケースが多いし、もっと疎なわけだが） 0.0, 2.0, 0.0, 0.0, 0.0 0.0, 0.0, 2.0, 0.0, 0.0 0.0, 1.0, 5.0, 2.0, 0.0 0.0, 3.0, 0.0, 0.0, 2.0 0.0,
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
3000th post. Wow !
https://www.cise.ufl.edu/research/sparse/matrices/
Ivan Selesnick
Compressive Imaging: A New Single-Pixel Camera | Rice DSP
Caltech UGCS