Robust Logistic Regression using Shift Parameters (ACL 2014) 読んだ - 糞糞糞ネット弁慶
概要 [1305.4987] Robust Logistic Regression using Shift Parameters (Long Version) 一部のデータに対して誤ったラベルが付与されているような状況において頑健なロジスティック回帰を提案する． 著者は The Elements of Statistical Learning の著者 Julie Tibshirani と NLP界の巨匠(NLP殆ど知らない自分でも名前を知っている) Manning． 自分が読んだのは ACL short のもの．リンクを貼ったのは long version なので読んでない部分がいくつかあると思う． モデル 事例に対する通常のロジスティック回帰が(推定すべき重みパラメータをとして) であるとすると， shift parameters を追加して とする． の気持ちとしては，でまずは理想的な
意訳：2009年から2014年の機械学習の理論的進歩について教えてください - Dust Theory
Quoraに投稿された質問 "What has happened in theoretical machine learning in the last 5 years (2009-2014)?" 「2009年から2014年の機械学習の理論的進歩について教えてください」 への、機械学習研究者Yisong Yueの回答を翻訳しました。そのままだと通じない部分は意訳しているので、原文に忠実ではありません。 「2009年から2014年の機械学習の理論的進歩について教えてください」への回答 私の個人的な視点で話します。 潜在変数モデルに対する最適推定について: 理論的な進歩として私が最初に思いつくのは、潜在変数モデルに対する（ほぼ）最適な推定です。この潜在変数モデルの最適推定は一般的に非凸な問題であり、つまり（よく知られている）凸最適化の手法の通用しない難題です。 最も輝かしいアプローチはスペクト
顔認証技術: DeepFace と Pyramid CNN - Preferred Networks Research & Development
得居です。3月下旬とは思えない寒さに凍えています。 Facebook が CVPR2014 に投稿しアクセプトされていた顔認証に関する論文 [1] が MIT Technology Review にて紹介されたことで注目を集めています。DeepFace と名付けられた手法で、同社が集めた4030人の顔写真440万枚を用いた大規模学習によってほぼ人間並の人物識別性能を達成しているということで、なかなかキャッチーな話題です。一方、Face++ という顔認証・分類のプラットフォームを展開する Megvii社 がつい先日公開したプレプリント [2] でも DeepFace と同程度の性能を達成しています。今日はこの2つの論文を解説します。 DeepFace の論文では、検出された顔矩形に対して以下の3つの処理を施しています。 矩形の2次元アラインメント 3次元モデルを用いた out-of-plan
Facebook、同一人物の顔画像をマッチングする「DeepFace」を開発中
ソーシャルネットワークのFacebookは、「DeepFace」と呼ばれる人工知能（AI）ソフトウェアを開発中だ。DeepFaceは、人間が行うのとほぼ同じ正確さで、画像の中の顔をマッチングできるという。 FacebookのDeepFaceシステムは、3Dモデリング技術を使って顔を検出し、トリミングや歪曲によって正面の顔に加工する。これは、「正面化」と呼ばれる手法だ。 現在テスト段階にあるこのソフトウェアは、大規模データセットに含まれる顔を一致させる顔照合システムであり、顔に識別情報を割り当てる顔認識とは異なる。つまり、DeepFaceは数百万枚もの写真を走査し、画像を仮想的に回転したり修正したりして、一致するすべての顔を見つけることが可能だ。 この高度なシステムは、4000人の顔面画像400万枚以上からなるデータセットを使って鍛えられた。Facebookがこのほど公開した文書「DeepF
Random Forestで計算できる特徴量の重要度 - なにメモ
(pixabay.comより) １．背景とか Random Forest[1]とは、ランダムさがもつ利点を活用し、大量に作った決定木を効率よく学習させるという機械学習手法の一種です。SVMなどの既存の手法に比べて、特徴量の重要度が学習とともに計算できること、学習が早いこと、過学習が起きにくいこと（追記注釈１）などの利点が挙げられます。Kinectの姿勢推定に使われているらしいです。 最近、Random Forestをカジュアルに使う例が多く（特にうちの研究室）、一部パラメータやら出力やらがわからない人も多いと思います。使い方はTJOさんの資料[2]を読んでもらえれば理解できると思うし、詳細は波部先生の資料[3]をよんでもらえればわかると思います。 それで、いろいろな日本語の資料をいくら読んでも、Random Forestがもつ特徴の１つである、特徴量の重要度の詳細に関してはほとんどノータッ
機械学習界隈の情報収集方法 - kisa12012の日記
こんにちは．Machine Learning Advent Calendar (MLAC) 2013の14日目を担当します，[twitter:@kisa12012]です．普段は博士学生として，各地を放浪しながら機械学習の研究をしてます．今回の記事はボストンで執筆しています．現地時間(EST)での締切は守ったのでセーフ…ですよね？ 本日は機械学習の技術的な内容の話ではなく，筆者が実践している機械学習関連の情報収集方法について纏めます*1．大きく分けて，学会情報の管理・論文情報の収集・その他の三種について述べたいと思います．今回のトピックの多くは他の分野にも通用する話になっているかと思います．他の分野の方がどのように情報収集されているのかも気になるところです． 学会情報の管理 まずは学会情報の管理についてです．機械学習に関連するカンファレンスは（特に近年乱立気味で）非常に沢山あります．全てをチ
機械学習ライブラリ scikit-learn で簡単ツイート分類 | ぱろすけのメモ帳
皆様こんにちは。今日も元気に自分を見つめ直していますか？自分を見つめ直す手段として、過去の自分の発言を見返すことは有用だと考えられます。たとえば、Twitter を使っている方ならば、その過去ログを用いることが考えられるでしょう。Twitter の過去ログはライフログとして機能し、それを用いることにより、過去の出来事のみならず、考え方、感じ方、ふとした着想、などなどを読み取ることができます。しかしながら、過去のツイートを全部見返すのは非常に面倒ですね。たとえば僕のアカウントはトータルで4万ツイート以上あります。これは非常にめんどい。Twitter は情報量多くてだるいよね問題については、従来「再生核 Hilbert 空間を用い、脱ベイズ確率主義に立脚したあまりだるくないツイッター」などの試みが行われてきましたが、今なおその面倒さを軽減する手段については十分とはいえません。本記事では、過去の
自然言語処理分野における ディープラーニングの現状
⾃ࠞ然⾔ࢠ語処理ྞ分野における ディープラーニングの現状 渡邉 ̀陽太郎ྒ 東北ྖ⼤֒学⼤֒学院情報科学研究科 IBIS2013 企画セッション2：ディープラーニング 2013/11/12 NLPにおけるディープラーニング 2 ⾔ࢠ語モデル の構築 ⾔ࢠ語の構成性 のモデル化 構成的意味論ྔ ⾔ࢠ語解析 （構造予測） Recursive Neural Networks Autoencoders (Socher et al., 2011, 2012, 2013) RBM (Minh and Hinton 2007) Feed-forward Deep NN (Bengio et al., 2003, Arisoy et al., 2012) Recurrent NN (Mikolov et al., 2010) (Wang and Manning 2013) (Mansur et al.,
ICML2013読み会を開催しました - Preferred Networks Research & Development
夏ですね。暑いですね。比戸です。 先月開かれた機械学習のトップ会議ICML2013の論文読み会を開催しました。本会議に参加したPFIメンバーがいたので、せっかくだからと外部公開にしたところ、想像以上の盛り上がりとなりました。 1週間前というかなり無理なスケジュールで募集をかけたにも関わらず、読む人枠は瞬時に埋まり、聞く人の数も予想を大きく超え合計40名と弊社オフィスでは収まらなくなったため、東大の中川先生にお願いして場所をお貸し頂きました。ありがとうございました。 平日夜18時から22時という時間にもかかわらず濃密なガチ発表が続き、とても有意義な情報共有・質疑が出来たのではないかと思います。ここ1-2年このような論文読み会の機会が減っていると感じていたので、今後も継続的に開催出来ればと思います。 発表者の皆さんもかなり資料をSlideshareに上げてくださったのでせっかくなのでここにまと
混合ガウス分布モデルのクラスタをk平均法とEMアルゴリズムと変分ベイズでそれぞれ推定 - 西尾泰和のはてなダイアリー
「クラスタは球状だ」と想定しているk平均法が苦労するように、細長くて交差したクラスタのデータを使った。また変分ベイズの「クラスタの個数を自動調整する」というメリットを確認するために、クラスタの個数は2, 4, 8個で行った。EMアルゴリズムと変分ベイズでは、k平均法ができていない「長細いクラスタだ」という推定ができている。またEMアルゴリズムではクラスタの個数は人間が与えないといけないが変分ベイズでは自動調整されている。ただし、自動調整に失敗することも結構あるので「何回か実行して一番良かったものを取る」というアプローチが必要だろうな。変分ベイズの8クラスタでの実験は10回やって一番良かったものを取っている。4クラスタの実験は6回。それぞれ初期状態から20ステップの学習過程を動画にしている。 k平均法 k平均法では細長いクラスタを見つけられないのでこれが限界 4クラスタの例。クラスタの個数を
NIPS 2012 （2日目） - 東京大学中山研究室 研究日記
NIPS二日目のレポートです。大分時差ボケもとれて快適にすごせるようになってきました。 今日からは、invited talkやoral sessionもはじまりました。 （3部屋ぶちぬきの大会場。ここで発表するのは機械学習研究者の目標の一つです。） 正直なところ、知識が乏しくついていけない話題も多いですが、今日は画像系の話も多かったので比較的楽でした。 Classification with Deep Invariant Scattering Networks Stephane Mallat (invited talk) Deep neural networkがなぜうまくいくかはまだあまり分かっていないが、不変特徴抽出の観点から説明できる。例えば、Convolutional neural networkは並進・回転・スケール等に不変かつ安定な特徴を階層的に抽出している。 A Stochas
Deep Learning
Deep Learning is a new area of Machine Learning research, which has been introduced with the objective of moving Machine Learning closer to one of its original goals: Artificial Intelligence. This website is intended to host a variety of resources and pointers to information about Deep Learning. In these pages you will find a reading list, links to software, datasets, a list of deep learning resea
Deep Learning
Deep Learning Methods for Vision CVPR 2012 Tutorial 9:00am-5:30pm, Sunday June 17th, Ballroom D (Full day) Rob Fergus (NYU), Honglak Lee (Michigan), Marc'Aurelio Ranzato (Google) Ruslan Salakhutdinov (Toronto), Graham Taylor (Guelph), Kai Yu (Baidu) Overview Hand-designed features such as SIFT and HOG underpin many successful object recognition approaches. However, these only capture low-level edg
Best Python modules for data mining
best python modules for machine learning, data mining, natural language processing, network analysis, and web scraping This list is my summary of Quora question What are the best Python 2.7 modules for data mining? Basics: numpy - numerical library, numpy.scipy.org/ scipy - Advanced math, signal processing, optimization, statistics, www.scipy.org/ matplotlib, python plotting - Matplotlib, matplotl
大規模データマイニング・機械学習 Mahout 活用に向けて読んでおきたい12のプレゼン資料 - hamadakoichi blog
2012年度が始まり1ヶ月が経ちました。2011年度は、大規模分散処理技術・データ基盤の普及が広く進んだ年だったと思います。2012年はそれら蓄積された大規模データを活用しデータマイニング・機械学習を用い、ビジネス・サービス洗練を大きく広げていく年ではないでしょうか。 Mahoutは 大規模分散データマイニング・機械学習のライブラリです。ApacheプロジェクトのOpen Sourceで、Hadoop上で動作しデータマイニング・機械学習の大規模分散実行を行うことができます。 Apache Mahout 大規模分散 データマイニング・機械学習を実行できる Mahout ですが、まだ「ドキュメント整備が発展途上で詳細を知るためにはソースコードから読み解く」必要がある場合が多く、また、活用には「対象とするデータマイニング・機械学習の基礎知識」が必要なため、まだまだ活用の敷居が高いのが現状ではない
representation-learning-tutorial-2012
ICML 2012 Representation Learning Tutorial Yoshua Bengio U. Montreal June 26th, 2012, Edinburgh, Scotland The success of machine learning algorithms generally depends on data representation, and we hypothesize that this is because different representations can entangle and hide more or less the different explanatory factors of variation behind the data. Although domain knowledge can be used to he
RSSの未読多すぎてウザいので何とかするサービス作った - Make組ブログ
フィードリーダ使ってると 未読記事多すぎUZEEEEEEEE ってなりませんか。 私は何とかしたかったのでWebフィードリーダ、Sinboonを作りました。 こいつの良いところは、ユーザの好みを把握してくれてオススメの記事だけ表示してくれることです。 http://sinboon.hirokiky.org/ 新着記事が気に入ったら「♥」を、そうでもなかったら「×」を押すことで、Sinboonがユーザの好みを学習します。 どんなのか 個人の嗜好を学習し記事を推奨するフィードリーダ View more presentations from hirokiky こんなのです。 このスライドは私の卒研発表のものです。もともと卒業研究で作ってたのをこのたびリリースしたというわけです。 現状 私の気分次第でデータが消えたりします 私の財布次第でサービスが停止します まだお試し段階と思ってください すべて
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Random Forestsとその応用
BigML.com
Deep Learning for NLP (without Magic)