最速の疎ベクトルはどれだ - Preferred Networks Research & Development
海野です。 自然言語処理などで機械学習を行おうとすると、非常に疎なベクトル表現を使いたくなります。疎、というのはほとんどの要素が0である、という意味です。前々から疎ベクトルライブラリのパフォーマンスに関して気になっていたので、幾つか調べてみました。 Jubatus Workshopでも話したとおり、機械学習を適用しようとすると、普通は対象のデータをベクトル表現に落とします。特に言語データの場合は、それぞれの単語や文字などを特徴次元とするため、非常に疎なベクトルとなってしまいます。純粋な配列（C++で言えばstd::vector）を使ってしまうと、大量にメモリを食ってしまうため疎ベクトル専用の表現を使うのが普通です。 今日は様々な疎ベクトルライブラリのパフォーマンス比較を行おうと思います。比較したライブラリは以下のとおり。真の意味で、疎ベクトルのライブラリは、Eigenとublasだけで、残
Github で初めての pull - request (プルリクエスト)
概要 Github にあるプルリクエストという機能は非常に強力で便利な機能です 簡単に言ってしまえば「あなたのコード修正してあげたから、そっちに適用してね」とお願いする行為になります ただ、やり方がちょっと複雑だったり英語で文章を作ったりと大変です 今回はそんなプルリクエストをGithubでやってみたいと思います 環境 git 2.3.0 Github 2015/03/20時点 他のアカウントのリポジトリにプルリクエストを送ってみる それでは実際にやってみます forkする これがプルリクエストへの第一歩です forkとはリポジトリをコピーすることです forkは必ず「自分でない誰かのリポジトリ」をforkしなければなりません 今回はテスト用のプルリクエストを実施するので、もしあるなら適当なリポジトリをforkしてください ない場合は私のリポジトリのどれでもOKです やり方は簡単で作成した
GitHubへpull requestする際のベストプラクティス - hnwの日記
みなさん、Git使ってますか？僕はまだメインのVCSがSubversionなのもあって、なかなか慣れません。せっかくGitを使っているのに、ちょっと不便なSubversionくらいの位置づけです。でも、同じような理解度の人って多いんじゃないでしょうか。 一方で、最近はGitHub管理のオープンソースプロジェクトが増えてきました。バグレポートを送るにしてもpull request*1が前提のような空気があり、Git初心者には少し敷居が高い印象があります。 そんな僕も先日初pull requestをしてみたんですが、色々な失敗の積み重ねで残念なpull requestになってしまいました。その反省を元に、本稿ではpull requestする際のベストプラクティスを紹介します。これは「Git Workflow」をベースにコマンド例などを加筆したものです。 概要 pull requestする際は、
初心者向けGithubへのPullRequest方法 - Qiita
Github上にローカル環境からTerminalなどのコマンドラインを使ってPush,PullRequestを作成する流れをまとめてみました。 大まかな流れ ①Github上からローカルにファイルをclone(保存)する ②GithubへPullRequest用のBranchをローカルで作成する ③データを更新編集し、ローカルに add, commitする ④Githubにpushする ⑤GithubにPullRequestする ※⑥PullRequestをMergeする 用語の整理 ①Github…オンライン上にレポジトリーを保管し、複数人で共有・編集できる ②ローカル…自分のPC ③clone...Githubなどオンライン上のリポジトリーをローカルにコピー保存すること ④Branch...１つのレポジトリに複数のBranchを作ることで同時に複数のバージョンでレポジトリを管理すること
EMNLP2015読み会を開催しました - Preferred Networks Research & Development
海野です。10/24に、リクルートテクノロジーズさんの会議室で、EMNLP2015読み会を開催しました。 10件の発表と、およそ40人の参加者が集まりました。 昨年も開催しましたが、規模が2倍程度になり、この分野への注目度が伺えます。 特にEmbeding系の論文が多かったらしく、EMNLPのEはEmbeddingのEではないか、という皮肉があったそうです。 10本の発表中、2本がattentionベースの手法で、Embedding、RNNに続いて次のトレンドになりつつあるのかなという感触を得ました。 当日のTwitterの様子は、togetterにまとめました。 最後に、会場提供や運営を手伝っていただいた、リクルートテクノロジーズ様と、@yag_aysさんに感謝いたします。 以下に発表スライドの一覧を載せます。 @Quasi_quant2010 Learning Better Embed
Github で Fork してから Pull Request をするまでの流れ | けーこ in サンフランシスコ
いつも忘れてしまうので、GithubであるプロジェクトをForkしてからPull Requestをするまでの流れをメモしたいと思います。今回、実際に私がこの流れを使っているCordova (PhoneGap) ドキュメントのプロジェクト、 https://github.com/apache/incubator-cordova-docs を例にやっていきたいと思います。 1. Fork する GithubでForkしたいプロジェクトまで行って、右上にあるForkボタンを押します。今回、 https://github.com/apache/incubator-cordova-docs をForkしたので、私のGithubアカウントkeiko713上では https://github.com/keiko713/incubator-cordova-docs というリポジトリが作成されます。 2.
Valgrind を使って iPhone アプリのメモリデバッグをする - むらかみの雑記帳
Linux 上で開発をしている人なら知らない人はない（たぶん）と思われるメモリデバッグツールの Valgrind。これを使えば、メモリリークや解放済みメモリアクセスなど、メモリに関するバグつぶしの効率は飛躍的に改善します。 これがありゃー、Purify いらねーじゃん、って感じ。私は普段 Linux で開発しているので、使いまくりです。 さて、この Valgrind を iPhone の開発に使えないかと探していたら、すでにやってる人がいました。 iPhone: Testing your Application with Valgrind 残念ながら、実機ではデバッグできません。Valgrind は Intel CPU にばりばり依存しているので、ARM は無理なんです。だけど、iPhone Simulator なら動くという話。 手順をまとめておきます。 こちらから、Mac OS X 版
System.in, System.out, System.errを再初期化する - argius note
またかなり間が空いてしまいましてすみません。 今さら感あふれるネタですが、知らなかったのでメモ。 結論を先に書きます。 下記ページで知りました。 java - Resetting Standard output Stream - Stack Overflow http://stackoverflow.com/questions/5339499/resetting-standard-output-stream System.in, System.out, System.errの再初期化は、下記のようにします。 FileDescriptorを使うのがポイントです。 // import java.io.*; System.setIn(new BufferedInputStream(new FileInputStream(FileDescriptor.in))); System.setOut(ne
NetworkX でランダムグラフの最大連結部分を数える - Qiita
NetworkX という Python 向けの素敵なグラフライブラリを知ったので、練習がてら「ランダムグラフの最大連結部分のサイズがどんくらいになるか」という実験をしてみた。 （ここでの「グラフ」とは数値データを可視化する図のことではなく、ネットワークグラフ的な意味でのグラフ） 問題設定 頂点 (node) がN個ある。 ランダムに2点を選んで辺 (edge) で結ぶ。これをS回繰り返す。 辺でつながった部分（連結部分）の最大サイズはいくらか。 この問題は S. Kauffman の著書「自己組織化と進化の論理」3章で紹介されたもので、多様な物質の混合物から生命が創発するモデルの一部として登場している。 コードと実行 ここでは networkx, numpy, matplotlib, および pydot をインスコしたものとする。インストール手順については最後に軽く触れる。 上記の問題に従
Pythonで簡単ネットワーク分析
Thank you communication network in organization 感謝ネットワークからみる組織のコミュニケーションの形Hiroko Onari
Python-猿でもできるページランク計算＆ソーシャルグラフの可視化 - Qiita
Vagrant + VirtualBox + Python + ライブラリで簡単に仮想環境を作って実装してみました。 rubyでソーシャルグラフや行列を扱っていて、扱いにくいことが多々あったので、Pythonで行列計算やグラフの可視化などをやってみたら、めちゃくちゃ簡単且つ実用的だったので、まとめました。 利用したPythonライブラリについて 1. Scipy scipyは、パッケージは科学技術計算での共通の問題のための多様なツールボックスがあります。サブモジュール毎に応用範囲が異なっています。応用範囲は例えば、補完、積分、最適化、画像処理、統計、特殊関数等。 scipy は GSL (GNU Scientific Library for C and C++) や Matlab のツールボックスのような他の標準的な科学技術計算ライブラリと比較されます。 scipy は Python での
NumPy の配列操作 (1) - Qiita
なぜ Python を使うのか もう一度、原点に立って考えてみましょう。統計や機械学習について Python を使う理由は何でしょうか。筆者は次のように考えています。 Python 自体はグルー言語として万能性がある 数学、統計、機械学習などの科学計算用のライブラリが非常に豊富であり他の一般的な言語の追随を許さない域にある C/C++ や FORTRAN などで書かれた線形代数などの数学ライブラリを呼び出すためインタプリタ言語でありながら数理計算部分が高速である 純粋に言語としての魅力を語るのであれば Haskell や Ruby など他にもたくさん種類があるでしょう。また、単純に統計数理計算をするだけであれば R 言語がよく知られています。また金融計算や統計分析用のソフトウェアについては有償のものもあります。しかしながら、計算に特化した科学アプリケーションと、一般的なシステム処理を同時に
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Loading...
機械学習の Python との出会い — 機械学習の Python との出会い