At Meta, research permeates everything we do. We believe the most interesting research questions are derived from real world problems.
![Meta Research News | Meta Research](https://cdn-ak-scissors.b.st-hatena.com/image/square/72b8c8b03af887a33747046e3d0ba94c2274f41d/height=288;version=1;width=512/https%3A%2F%2Fresearch.facebook.com%2Ffile%2F1225596004631069%2F279064836_359329096222198_6933263680557397025_n-%281%29.png)
はじめに 勉強会で、学習率を改善(自動調整)する事で学習時間を短縮し、ファンタジスタドールを見る時間を多く確保できる事が示されていた。 AdaGrad等をさらに改良したらしいAdaDeltaがあるようなので、ロジスティック回帰に適用してみた。 AdaDeltaとは M. D. Zeiler, ADADELTA: AN ADAPTIVE LEARNING RATE METHOD http://www.matthewzeiler.com/pubs/googleTR2012/googleTR2012.pdf 学習率を自動調整する方法の一つ 他の関連手法の問題点等を改良 過去すべての勾配を考慮→直近の勾配だけを考慮したいので、指数関数的に減衰するように考慮 グローバルな学習率を指定→second order methodsの特性を持つように、パラメータの変化について直近のパラメータの変化から計算し
We present a state-of-the-art speech recognition system developed using end-to-end deep learning. Our architecture is significantly simpler than traditional speech systems, which rely on laboriously engineered processing pipelines; these traditional systems also tend to perform poorly when used in noisy environments. In contrast, our system does not need hand-designed components to model backgroun
ICDM14からもう一本。一度も参加したこと無いけど来年は参加してみたいな。 概要 TwitterからCampaign Promotersを検出する。Campaign Promotersってのは企業によるマーケティングやら政府による何らかのキャンペーンとかをやってるTwitterアカウントのこと。ちょっと前に流行ってたけどキャンペーンとかマーケティングをステルスでやるアカウントが多いからそういうの見つけたいよねっていうモチベーション。 貢献 複数タイプのノード、エッジを扱えるようにMRFを拡張してT-MRF (Typed MRF) を提案 Campaign Promotersを検出できるようにMRFのノードポテンシャルとエッジポテンシャルを設計 手法 一言で言えばタスク特化にした特殊なグラフを作って、MRFを使ってTwitterユーザがPromotersかNon-promotersかを推定
This document discusses online advertising and techniques for fitting large-scale models to advertising data. It outlines batch and online algorithms for logistic regression, including parallelizing existing batch algorithms and stochastic gradient descent. The document also discusses using alternating direction method of multipliers and follow the proximal regularized leader to fit models to larg
前にこんなツイートをしたけどもうちょっとちゃんとメモっておく ゆるふわカジュアル勢()なので内容に間違ってる点があったら教えてくださると嬉しいです 勝手なイメージだと、MeCab →一番使われてる 。速い。辞書を弄くるのが簡単。いろいろ移植されてる。Juman→出力が詳しい。代表表記に正規化できる。KNPを使うときはこれ。KyTea→新しくていろいろ更新されてる。読みの推定ができる。部分的タグ付けによるドメイン適応ができる。— 無限猿(id:sucrose)@12月病 (@Scaled_Wurm) October 22, 2014 大雑把に言うと形態素解析では文章を単語+品詞の列に分解する いわゆる学校でならった文法とは違う文法を使っているので注意が必要 ただし形態素解析器によって品詞体系や辞書に載っている単語が異なる 形態素解析器では単語や品詞の列にコストが計算できるようになっていて、そ
本記事は Machine Learning Advent Calendar 2014 の 24日目のトピックです。 増え続けるセンサーデータ M2M(Machine to machine), IoT(Internat of things) というキーワードが叫ばれて久しい今日、インターネットに接続できるデバイス数の上昇が見込まれるなか、デバイスに搭載された各種センサーデータの分析、活用も今後目が離せない分野です。 データはAWSなどのクラウドサービスのデータセンターに置かれた後、分析、フィルタリングされ、エンドユーザの役にたつ情報を提供していくものと思われます。 各種センサーが農業などの分野で使われ、そこから取得されたデータが分析され、活用されているという話題も多数上がってきています。 センサデータ解析におけるJubatus活用事例 - Slideshare Blue River Tech
We study the problem of stochastic optimization for deep learning in the parallel computing environment under communication constraints. A new algorithm is proposed in this setting where the communication and coordination of work among concurrent processes (local workers), is based on an elastic force which links the parameters they compute with a center variable stored by the parameter server (ma
Convolutional networks almost always incorporate some form of spatial pooling, and very often it is alpha times alpha max-pooling with alpha=2. Max-pooling act on the hidden layers of the network, reducing their size by an integer multiplicative factor alpha. The amazing by-product of discarding 75% of your data is that you build into the network a degree of invariance with respect to translations
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く