Bandit Feedback下での多クラス分類アルゴリズム - kisa12012の日記
ICML2011のMulticlass Classification with Bandit Feedback using Adaptive Regularizationをざっくりと読んだのでメモ． 論文 概要 Bandit Feedbackでの多クラス分類問題における新たなアルゴリズムを提案 アルゴリズムは，Second-order Perceptronとupper-confidence boundを組み合わせたもの exploration時に現在のスコアや不確実性を考慮したものに拡張した点がポイント Regret を達成 (既存手法のベストは，) 但し，データ分布には一定の確率分布に従う，という仮定を置いている 実験結果より，Label Noise環境下での分類精度が向上することを確認 (Bandit Feedbackと似ているため) Bandit Feedback Bandit Fe
分散型オンライン学習 - kisa12012の日記
ICML2011のOptimal Distributed Online Predictionをざっくりと読んだので，メモ書き． 論文 概要 既存のオンライン学習アルゴリズムをミニバッチに拡張，分散学習を可能にする 勾配ベースのオンライン学習手法は全て拡張可能 勾配ベースのオンライン学習手法 : Dual-Averaging, Mirror descent algorithms (Subgradient method)等 Regret Boundは (m:データ数)で分散数kに依存せず，凸制約の上では理論上最適解 確率的最適化の文脈から，分散型のアルゴリズムを提案しているとも見ることが可能 実験により，ノードの数の増加に応じて収束速度が向上することが示された distributed mini-batch framework(DMB)とは？ k個の学習器にそれぞれ別のデータを食わせて勾配を計算
劣勾配法(ヒンジ損失）書いたよ - kisa12012の日記
ソースコード ソースコード 内容 劣勾配法の解説は，以下のブログ記事が詳しいです． 劣微分を用いた最適化手法について(3) | Preferred Research こちらでも劣勾配法について簡単に説明したいと思います． 多クラス分類問題を解く場合，ヒンジ損失関数は以下の式で定義することが出来ます． ここで，が現在の重みベクトル，が入力ベクトル，が正解ラベルです． ヒンジ損失関数では，正解ラベルのスコアと不正解ラベルのうち一番高いスコアとの差が重要な役割を果たします． このように定義したヒンジ損失関数を用いて，劣勾配法はデータが1つ与えられるたびに以下の更新式に従い重みベクトルを更新します． ここで，は，毎回の更新時にどの程度重みベクトルを動かすかを調節するステップ幅です． 多くの場合，ステップ幅はとなる値を用います．[Zinkevich, 2003] 以上が劣勾配法（ヒンジ損失関数）のア
throw Life - AndroidのFile入出力サンプル
一般的と思われる方法でコピーを実装します。 つまり、InputStreamでファイルを読込み、書き込み用のOutputStreamに流し込みます。 ＃読みやすくするため例外処理を入れていません。 public static void copyFile(String srcFilePath, String dstFilePath) { File srcFile = new File(srcFilePath); File dstFile = new File(dstFilePath); // ディレクトリを作る. dstFile.mkdirs(); // ファイルコピーのフェーズ InputStream input = null; OutputStream output = null; input = new FileInputStream(srcFile); output = new F
ACL HLT 2011 初日: 人間のクイズ王に勝った IBM Watson を支える技術 - 武蔵野日記
今日は自然言語処理に関する世界最大の会議、ACL の本会議初日。ホテル開催なので朝簡単につまめるものは会場にあるのでは、と思って行ったら案の定ベーグルとかコーヒーとかフルーツがあったので、ベーグルを食べる。けっこういける。 オープニングでは今回の会議の統計を話していたが、1,146本の投稿(うち646本がフルペーパー、残りの512本がショートペーパー)、292本(うち164本がフルペーパー、128本がショートペーパー)が採択とのこと。フルペーパー(2段組8ページ+参考文献)とショートペーパー(2段組4ページ+参考文献)ともに採択率は25%。自然言語処理では採択率が40%くらいの国際会議が多いので、25%はやはり難関会議である。 招待講演はアメリカのクイズ番組で人間に勝ったことで有名になったIBM Watson を支える技術について。ネタがあまりよく分からずいまいち楽しめなかったが (細かい
はじめてで迷ったときの論文の読み方 - 武蔵野日記
昨晩勉強会のあと20分くらい takuo-h くんと話したのだが、授業や勉強会が多過ぎてキャパシティを超えているとのこと、たぶん松本研の M1 はみんなそうではないかな。自分も M1 の間は平日は毎日3時間睡眠で予習・復習・勉強会そしてバイトと大変だったし、大体みんな忙しいのである。 NAIST の M1 自体がそもそも授業の負荷が高いのに加え、松本研は特に勉強会の数が多いので、全部出ていると相当しんどいはず。とはいえ、出ていると耳学問でいろいろと学ぶこともあるので、可能な限り出るとあとあと「限界に近かったけど出ていてよかった」と思うこともあるだろうし、そのあたりは自分の体力との相談かと…… そういえば以前書いた松本研究室の手引きという文書を発掘した。修士の2年間しか書いていないので、博士の3年間も書きたいのだが、結婚して夫婦で1年間奈良で暮らしたりしていて、あまり他の人の参考にならないの
一流会議の論文を100本読むと大体わかってくるというのはガチ - 白湯の日記(2011-06-11)
■ 一流会議の論文を100本読むと大体わかってくるというのはガチ 生駒日記で「はじめてで迷ったときの論文の読み方」とあったので思い出してコメント． もしM1の人で，研究って何かよく分かんないなあと思っているなら， このアドバイスに素直に従うのが吉． かくいう僕も同じコメントをM1の11月に頂いている． でも，全くて行っていいほど読んでなかった． M1の冬のときは，読もうと思っても,ワケの分からない単語は次々に出てくるし， 書いてある内容も理解できないし， 自分の興味のある論文かどうかも分からないし， それまでは，なんだかんだで読むのを避けてた． 全然分かんないし， かといって良い方向性が思い浮かぶわけもなく(それは当然で，先人の知恵を借りずに思い浮かぶはずがない!)． どん底の気持ちだった． (正直に言うと，この挫折感というか，焦燥感みたいなものは， M1の秋からM2の冬までずっと感じてい
自然言語処理における双対分解に関するチュートリアル - 武蔵野日記
結局飛行機の中で寝すぎてホテルに着いてから朝まで作業していて、翌日眠い。 朝の便でスーツケースが届くので、午前中にはホテルに届けます、という話だったので、ホテルで待機。10時になって、そろそろ店が開くので最悪買いに行くか、と思って荷物をまとめて出かけようとしたら、フロントからスーツケースが届いたとの電話。助かった。 朝ご飯も食べず待っていたので、Pioneer Place というポートランド的なショッピングセンターまで歩いて行って、地下のフードコートで食べる。ブティックみたいな店にはほとんど人がいなくて、日曜日だから11時開店らしく、休みだからかな? と思ったら、地下の Apple Store にはうじゃうじゃ人がいて(本当に異常なくらい、日本の通勤電車並み?)、iPhone 4 やら iPad やらをみなさん見ていて、びっくり。 オレゴンはアメリカの州で唯一消費税がない州で、品物が安く買
ACL HLT 2011 最終日: 自然言語理解の研究がおもしろい - 武蔵野日記
ACL HLT 2011 の3日目の最初は認知言語学に関するHow do the languages we speak shape the ways we think? という基調講演。時間、性(ドイツ語やフランス語で女性名詞や男性名詞がある)、因果関係に関していろんな言語でどのように表現され、それが人間の認識にどのように影響を与えているか、というトーク。おもしろい。 たとえば、時間軸の過去と現在を前後と言う(思う)か上下と言うかは言語によって違い、たとえば日本語では「6月下旬」は6月の先の時間(未来)を指すが、英語では上下でなく前後で表現したり(たとえば "back in '90s" のように過去を指す)、アイマラ語は前後でも過去が前で未来が後ろだったりとか。 それで、言語が認識に影響を与えるかの調査の実験として、英語と中国語のバイリンガルに対し、「月曜日と火曜日がどのように位置関係にな
CoNLL-2011 初日: 人間の言語理解に自然言語処理が貢献できること - 生駒日記
ACL の本会議は終了したので会議後のワークショップの日。自分は Conference on Computational Natural Language Learning ( CoNLL-2011 ) という会議に参加。 本当は他のワークショップもぶらぶらと出ておもしろそうなのがあったら聞いてみようかと思っていたのだが、どうも今回は会場がどこも狭いようで、登録した人のぶんしか座席がないようなので、大人しく最初から CoNLL に参加。 CoNLL は今回15回目で、それなりに伝統もある会議なのだが、今回は投稿数82件で採択数はそれぞれ口頭が13件、ポスターが14件、合わせると33%で、中堅どころの会議になっている。もう一つ元々は同じくらいの規模だった EMNLP (機械学習や統計を用いた自然言語処理の国際会議) という会議は今回600件以上の投稿数で、今年の採択率は24%だったらしいのだ
CoNLL-2011 最終日: ゲームと自然言語処理の意外な関係 - 武蔵野日記
会議の全日程を通じて今日が最終日。いや〜、もうへとへと…… 午前中は CoNLL の共通タスクの報告会。今年は共参照(coreference)といって、たとえば 東日本大震災からの復興策を検討する政府の復興構想会議（議長・五百旗頭真防衛大学校長）は25日、「復興への提言」を決定し、菅直人首相に答申した。津波で被害を受けた地域の復興に向けて土地の利用手続きを一本化することや、一定区域に「特区」を設け、規制緩和や税制優遇を盛り込んだ。復興費を賄う財源として、臨時増税の検討を求めた。首相が退陣表明するなど政局は混迷しており、実現は曲折が予想される。 といった文章があったとき、「菅直人首相」と「(...)首相(が退陣表明...)」が同じ実体を指している、ということを解析するタスクであり、日本語では NAIST テキストコーパスでも共参照の情報を付与している。 さて、今回の共通タスクは@jhirwi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://kawaii-search.jp/