DBNとLabelSpreadingを使った半教師ありラベル学習 - Qiita
教師あり学習で文書分類をするためのラベル付け作業に疲れた方がいらっしゃったので、少ないラベルで分類が可能なように半教師あり学習でテキスト分類を行うものを作ってみました。 参考資料 コンピュータビジョン最先端ガイド6 (CVIMチュートリアルシリーズ) Deep Learning Tutorials Learning with local and global consistency, Zhou+, 2004 やったこと DBNで特徴量抽出 LabelSpreadingで半教師あり学習によるラベル付け 手順 DBNで特徴抽出 グリッドサーチで適当に層の深さ、学習係数、各層のユニット数を決定(Top層のユニット数は圧縮後の次元数) DBNでpre-trainingを行いweightとバイアスを学習 Top層の出力を次元圧縮後の特徴量として分類器に投入する LabelSpreadingで半教師あ
Machine Learning Casual Talks #3 - 資料一覧 - connpass
終了 2015/04/30（木） 19:00〜 Machine Learning Casual Talks #3 Beyond accuracy chezou 他 東京都渋谷区恵比寿4-20-3 (恵比寿ガーデンプレイスタワー12F)
AdaGradよりもいけていると噂のオンライン学習器Adamを実装しました - EchizenBlog-Zwei
AdaGradよりもいけていると噂のオンライン学習器Adamを実装しました。 実装がとても簡単で、ハイパーパラメータも論文に推奨値が書いてあるのが良いですね。 持っておかないといけないパラメータの数は(たぶん)AdaGradと同じです。 https://github.com/echizentm/Adam AdaGradやAdamのようなオンライン学習器は実装が簡単、省メモリなど優れた特徴があり大変実用的ですし、そろそろ有益な書物も発売されるようなので、気になった方はこれを機に学んでみると良いですよ。 しかしこうなるとAdamを改良したEveという学習器を作ってみたいですね(作るとは言っていない)。
オンライン学習器AdamをC++で実装してみた - log.saiias
元論文はこちらです. 自分の実装はここに置いてあります. 1データに対する学習率の調整部分は部分は以下の通りです. (論文内の擬似コードをそのまま実装している感じです. double pred = sigma(X,i); for(int idx = 0; idx < d; idx++){ if(X(i,idx) != 0){ double tbeta = 1-(1-beta1) * pow(lambda,iter); double grad = (pred - label(i)) * X(i,idx)+ C * w(idx); m[idx] = tbeta * grad + (1-tbeta) * m[idx]; v[idx] = beta2*pow(grad,2) + (1-beta2) * v[idx]; double hat_m = m[idx]/(1-pow((1-beta1),i
Workshop: Data-processing and machine learning
I hosted a small workshop at KTH (where I'm currently pursuing a master in Machine Learning), presenting Python's capabilities as a tool for data-processing (or "data science" if you prefere fancy terms!) and machine learning. You can view the slides on Speaker Deck (or embedded below), and I highly recommend having a look at the accompanying IPython notebook. (all sources are available, including
Quoc Le’s Lectures on Deep Learning – Gaurav Trivedi
Update: Dr. Le has posted tutorials on this topic: Part 1 and Part 2. Dr. Quoc Le from the Google Brain project team (yes, the one that made headlines for creating a cat recognizer) presented a series of lectures at the Machine Learning Summer School (MLSS ’14) in Pittsburgh this week. This is my favorite lecture series from the event till now and I was glad to be able to attend them. The good ne
Netflixの中の人が書いた「Ten lessons learned from building machine learning system」というブログエントリーのメモ - stMind
TechnoCalifornia: Ten Lessons Learned from Building (real-life impactful) Machine Learning Systems 少し前のエントリーですが、ざくっとポイントをメモしました。 Ten lessons More data and better models どちらかだけにフォーカスすると、うまくいかない あなたの問題では追加データが必要かもしれないし、またはモデルを改良する必要があるかもしれない You might not need all your big data 全データのうち、どのサブセットを使うかが重要 データが多いほど精度が上がるというわけではない The fact that a more complex models does not improve things does not mean yo
LIBFFM: A Library for Field-aware Factorization Machines
Machine Learning Group at National Taiwan University Contributors Introduction LIBFFM is an open source tool for field-aware factorization machines (FFM). For the formulation of FFM, please see this paper. It has been used to win the top-3 in recent click-through rate prediction competitions (Criteo, Avazu, Outbrain, and RecSys 2015). It supports l2-regularized logistic loss Main features include
xgboostとgbmのパラメータ対応一覧をつくる - 盆栽日記
GBM(GBDT)は便利だ。randomforestに比べると速いし、性能も高い。 で、たまたまこちらの記事を読んでいたら、どうも自分が知っているgbmパッケージとパラメータ名が違う。 とりあえず移植にあたって調べたけど絶対に忘れるので、xgboostパッケージとgbmパッケージのパラメータ対応を以下にメモしておく。 なお、初期値が違ったりするので注意。 n.minobsinnodeについては、おそらく、といったレベルなのでこれも注意。 gbm xgboost n.trees nrounds interaction.depth max.depth bag.fraction subsample distribution objective n.cores nthread n.minobsinnode min_child_weight? xgboostパッケージのパラメータ一覧はここから。 h
センサーと機械学習の論文をまとめてみる | DevelopersIO
本記事は Machine Learning Advent Calendar 2014 の 24日目のトピックです。 増え続けるセンサーデータ M2M(Machine to machine), IoT(Internat of things) というキーワードが叫ばれて久しい今日、インターネットに接続できるデバイス数の上昇が見込まれるなか、デバイスに搭載された各種センサーデータの分析、活用も今後目が離せない分野です。 データはAWSなどのクラウドサービスのデータセンターに置かれた後、分析、フィルタリングされ、エンドユーザの役にたつ情報を提供していくものと思われます。 各種センサーが農業などの分野で使われ、そこから取得されたデータが分析され、活用されているという話題も多数上がってきています。 センサデータ解析におけるJubatus活用事例 - Slideshare Blue River Tech
NIPS 2014
With a new venue and a deep attitude, NIPS was a blast this year, kudos to the organizers. Let's start with the “talk of the conference”. I mean this in the spirit of Time's “Man of the Year”, i.e., I'm not condoning the content, just noting that it was the most impactful. And of course the winner is ... Ilya Sutsveker's talk Sequence to Sequence Learning with Neural Networks. The swagger was jaw-
Machine Learning Trends from NIPS 2014
This blog post is authored by John Platt , Deputy Managing Director and Distinguished Scientist at Microsoft Research. I just returned from the Neural Information Processing Systems (NIPS) 2014 conference, which was held this year in Montreal, Canada. NIPS is one of the two main machine learning (ML) conferences, the other being ICML. NIPS has broad coverage of many ML sub-fields, including links
ナイーブベイズでツンデレ判定してみた - Qiita
input=>ちょっと、何！？ びっくりすんじゃん……。 category: tsundere input=>君が大好きで。すっごく大好きでね。 category: not_tsundere input=>……気安く触んないでよ、バカ。 category: tsundere input=>人ラブ！俺は人間が好きだ！愛してる！ category: not_tsundere よい...。 やったこと ふつうのスパム判定の場合 スパムのテキストとそうでないテキストをそれぞれコンピュータに学習させて、新しく入力されたテキストがスパムかどうかを判定します。 ...つまらん ツンデレ判定の場合 ツンデレのテキストとそうでないテキストをそれぞれコンピュータに学習させて、新しく入力されたテキストがツンデレかどうかを判定します。 楽しい！！ データの用意 学習を行うためには当然学習データが必要です。ツンデレ
Machine Learning: The High Interest Credit Card of Technical Debt
Machine learning offers a fantastically powerful toolkit for building complex systems quickly. This paper argues that it is dangerous to think of these quick wins as coming for free. Using the framework of technical debt, we note that it is remarkably easy to incur massive ongoing maintenance costs at the system level when applying machine learning. The goal of this paper is highlight several mach
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Machine Learning for Programming
GitHub - mesnilgr/is13: RNN for Spoken Language Understanding
CIMeC Wiki | CLIC
機械学習によるデータ分析まわりのお話
Google機械学習の技術的負債
Machine Learning: The High-Interest Credit Card of Technical Debt