Deep LearningThis domain may be for sale!
Home
Deep Reinforcement Learning, Decision Making, and ControlICML 2017 Tutorial Deep learning methods, which combine high-capacity neural network models with simple and scalable training algorithms, have made a tremendous impact across a range of supervised learning domains, including computer vision, speech recognition, and natural language processing. This success has been enabled by the ability of
Deep Learning for NLP Best Practices
Deep Learning for NLP Best Practices Neural networks are widely used in NLP, but many details such as task or domain-specific considerations are left to the practitioner. This post collects best practices that are relevant for most tasks in NLP. This post gives an overview of best practices relevant for most tasks in natural language processing. Update July 26, 2017: For additional context, the Ha
最近のスパースなニューラルネットワークについて - SmartNews Engineering Blog
こんにちは、スマートニュースの徳永です。深層学習業界はGANだとか深層強化学習だとかで盛り上がっていますが、今日は淡々と、スパースなニューラルネットワークの話をします。 要約すると ニューラルネットのスパース化によって、精度はほとんど犠牲にせずに、計算効率は3〜5倍程度まで向上できる スパース化にはまだ課題が多く、ニューラルネットの高速化という意味では、次の戦場はたぶんここになる スパースとは、スパース化とは スパースであるとは、値のほとんどが0であることです。例えば、ベクトル$a,b$の内積を計算する際に、$a$のほとんどの要素の値が0であるとしましょう。0になにをかけても0ですから、$a$の値が0でない次元についてのみ、$a_i b_i$の値を計算して足し合わせればよいわけです。このように、内積を計算する際に、どちらかのベクトルがスパースであれば計算が高速化できます。0という値をメモリ
富士通、少数データで効率よく学習できる深層学習技術--中国古文書文字で成果
富士通研究開発中心（FRDC）は2月21日、中国古文書文字の文字認識において、少数の学習データでも高精度な文字認識を実現する深層学習技術を開発したと発表した。 同技術は、古文書の文字画像と文字を紐づけたデータ（教師データ）で学習させる深層学習の認識エンジンと、文字とは紐づけられていない2つの文字画像が、同じ文字かどうか特徴を学習する深層学習エンジンを組み合わせたもの。一文字当たり約70％少ない教師データ数で、従来技術と同じ精度の認識率を達成したという。 深層学習技術による文字認識では、あらかじめ文字画像と正解の文字を紐づけた教師データを用いて認識エンジンに学習させる。この時、教師データの数が多いほど認識精度が高くなるが、多様な書体があり同じ文字でも異なる字形が多数存在する中国古文書では、十分な数の教師データを用意することに課題があった。 今回の技術では、学習データを増やすため、正解の文字と
グーグル・ディープマインド、大量データ不要の深層学習システムを開発
アルゴリズムの学習には通常何千ものサンプルが必要とされる。グーグル・ディープマインドの研究者はその手間の回避方法を見つけた。 by Will Knight2016.11.04 1468 830 111 0 人間は一、二度見ればそれが何かを認識できる。しかし、コンピュータービジョンや音声認識のアルゴリズムは、画像や言葉の習熟に何千ものサンプルが必要だ。 グーグル・ディープマインドの研究者がこの手間を回避する方法を発見した。研究者は深層学習アルゴリズムを巧妙に微調整することで、画像内の物体等をひとつのサンプルだけで認識（分類）する「ワンショット学習」を可能にした。研究チームはタグ付き画像や筆跡、言語を収録した大型データベースで、新方式を実証した。 高精度のアルゴリズムの認識力は信頼できるが、アルゴリズムの構築には多くのデータが必要で、時間もお金もかかる。たとえば、無人自動車が、確実に道路上の個
Why does deep and cheap learning work so well?
We show how the success of deep learning could depend not only on mathematics but also on physics: although well-known mathematical theorems guarantee that neural networks can approximate arbitrary functions well, the class of functions of practical interest can frequently be approximated through "cheap learning" with exponentially fewer parameters than generic ones. We explore how properties freq
現在のDNNにおける未解決問題
3. 現在のDNNを1枚でおさらい l 活性化関数には区分線形関数を使い、伝搬は減衰/発散もしなくなった – 例例：Relu f(x) = max(0, x) これはsoftplus log(1+exp(x))のhard版 l 最適化にはRMSPropやAdamなどHessianのオンライン推定版を使う l Batch正規化層で、各層の⼊入⼒力力は常に平均0, 分散1に正規化し学習を容易易に l ResNet: f(x) = x + h(x) を使うことで 1000層を超えても学習可能に l 変分ベイズとの融合で、⾮非線形の⽣生成モデルの学習も容易易に – 特に潜在変数が連続変数の場合は変数変換トリックで効率率率よく学習可能 – 半教師あり学習、1ショット学習が可能に l 強化学習との融合で、⽣生の⼊入⼒力力から
* 数学的基礎から学ぶ Deep Learning
insert URI Edit Download × insert URI Edit Download × insert URI Edit Download × insert URI Edit Download × insert URI Edit Download × insert URI Edit Download × insert URI Edit Download × insert URI Edit Download × insert URI Edit Download × insert URI Edit Download × insert URI Edit Download × # 数学的基礎から学ぶ Deep Learning <p class="right">Morning Project Samurai</p> [toc] ## Deep Learning とは 機械学習の手
ディープラーニングを活用したマイクロサービスを構築し、画像から商品カテゴリの分類をしてみる - ZOZO TECH BLOG
こんにちは、VASILYのバックエンドエンジニアの塩崎です。 iQONの中ではクローラーと検索サーバーを担当しています。 iQONのクローラーには提携ECサイトさんからクロールした商品を商品カテゴリー(Tシャツ、ワンピース、etc.)に自動的に分類する機能があり、商品タイトルや商品説明文などのテキスト情報を元に分類を行っています。 しかし、一部のカテゴリー(セーター・ニット帽)の商品はテキスト情報だけからでは精度の良い分類を行うことができません。 そのため、これらのカテゴリーの商品については画像を用いたカテゴリー分類を導入しました。 これらの機能を実現するために、当社のデータサイエンスチームとも協力を行い、ディープラーニングを用いたカテゴリー判定器を開発しました。 また、この機能は既存のクローラーの機能からの独立性が高いので、クローラーに組み込むときにはマイクロサービス化をして組み込みまし
Character-Based Deep Convolutional Models | DeepDetect
Below are a range of character-based deep convolutional neural networks that are free, even for commercial use in your applications. These models have been trained over various corpuses, from sentiment analysis in many languages to advertizing link classification from just reading a URL. They should accomodate a range of applications. Training your own models is made easy too and can lead to even
Attention and Memory in Deep Learning and NLP
A recent trend in Deep Learning are Attention Mechanisms. In an interview, Ilya Sutskever, now the research director of OpenAI, mentioned that Attention Mechanisms are one of the most exciting advancements, and that they are here to stay. That sounds exciting. But what are Attention Mechanisms? Attention Mechanisms in Neural Networks are (very) loosely based on the visual attention mechanism found
ニコニコ動画の公開コメントデータをDeep Learningで解析する - Qiita
この記事は第2のドワンゴ Advent Calendar 2015の24日目の記事です。 ドワンゴエンジニアの@ixixiです。 niconicoのデータをDeep Learningなアプローチで解析してみた話です。 nico-opendata niconicoの学術目的用データ公開サイト https://nico-opendata.jp が最近オープンしました。 これまでも、国立情報学研究所にて、ニコニコ動画コメントデータや大百科データが公開されていましたが、 nico-opendataでは、ニコニコ静画のイラストデータの約40万枚のイラストとメタデータが研究者向けにデータ提供されています。 今回は、ニコニコ動画コメントデータ(誰でも取得可能)を用いたDeep Learningによるコメント解析例を紹介します。 超自然言語 ニコニコのコメントデータに限らず、twitterでのtweetや
Recurrent NNで文書のポジネガ判定する（モデル考案編） - もちもちしている
この記事はDeep Learning Advent Calendar 7日目の記事です． 準備が大変なので前後半にわけてやりたいと思います．前半はモデルの考案と考えてる応用先について書きます． はじめに Deep Learningは画像認識や音声認識で多大な成果を挙げていますが，自然言語処理の分野でも大きな変化をもたらしたと思っています．現に，評判分析や機械翻訳などでDeep Learningを用いた手法は他を圧倒する成果を挙げています． そのため，機械学習で自然言語処理に取り組んでいる私にとっても，Deep Learningによる自然言語処理がとても熱いです． 今回は実験として，Deep Learningの一つであるRecurrent NNを使い，文書が肯定的(Positive)なのか，否定的(Negative)なのかを分類する感情分析をやってみたいと思います． 感情分析ではRecurs
Deep learning Libs @twm
6. 自己紹介 • 大規模リアルタイムのデータプラットフォーム リアルタイムデータ 前処理 処理 ストア 提供 tweets 整形 自然言語処理・分類 API, 検索, 可視化 気象データ 変換 分類・異常値検知 API, 検索,ストリー ミング 位置データ 変換 分類 API, 検索, スト リーミング 経済データ 整形・変換 異常値検知 API, 検索, 可視化 6 7. 自己紹介 • Zope3の開発 • Python • いくつかの本 • PyCon JP 2015でのトーク • バックグラウンドは宇宙物理学 • 大規模データ統計解析，科学計算 • 深層学習ウオッチャー: 2012年Hinton講義 https://goo.gl/GG4Bo8 https://www.coursera.org/course/neuralnets 7
■featured stories
Emerging technology review シリコンバレーからの先端技術分析レポート。先端技術を学び、日本企業の経営戦略と製品計画策定に寄与。未来を生み出すベンチャー企業やファウンダーと接し、イノベーション誕生の思想に迫る。 “Emerging Technology Review” is research reports featuring the latest technologies. The articles analyze the new wave of the technologies and explores the Silicon Valley culture and innovations. ■featured stories シリコンバレーからの先端技術分析レポート (ブログへのリンク) ■about シリコンバレーで生まれる先端技術を解析 VentureCl
深層学習フレームワークChainerの紹介とFPGAへの期待
2. ⾃自⼰己紹介 l 得居 誠也 (Seiya Tokui) @beam2d (Twitter, GitHub) l PFI (2012-‐‑‒2014) -‐‑‒> PFN (2014-‐‑‒) l 専⾨門：機械学習 – ⾃自然⾔言語処理理、近傍探索索のためのハッシング（修⼠士） – Deep Learning（2012年年秋ごろ〜～）、画像・映像認識識 l 4 ⽉月に Chainer を作り始めて今はこれがメイン 2 3. 今⽇日のおはなし l Deep Learning の実装を紹介します – Deep Learning でどんなことができるかみたいな話はしません（ウェブ上 のスライドや記事、書籍などを参照していただければと思います） – まずニューラルネットの（実装に向けた）定式化についてお話したあと、 Chai
Deep LearningのWebプラットフォームLabellioを試してみた - kivantium活動日記
Deep Learningによる画像認識を可能にする最も簡単なWebプラットフォーム「Labellio」のリリースのお知らせという記事を見かけたので試してみました。 公式のチュートリアルに従えば簡単にDeep Learningを使った画像認識を試すことが出来ました。 まずはLabellioにアクセスします。 サインインをクリック。 アカウントはGitHubまたはGoogleアカウントと紐づけするようです。 ログインするとモデル作成画面に飛ぶのでCreate Modelをクリック。(kinmosaは過去に私が作成したモデルです） モデル名を入力してAdd dataをクリック。 今回はご注文は機械学習ですか？で使ったデータセットをzip形式で送る方法を使いました。 このようにラベル名のついたフォルダにそのキャラの顔画像を入れます。フォルダ直下に入れたファイルはフォルダ名のラベルが付くようです。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
yvespeirsman.be
ニューラルネットに基づく機械翻訳 Graham Neubig 奈良先端科学技術大学院大学 (NAIST) 2015-9-15