深層学習に特化したプロセッサ、Cloud TPU の設計 | Google Cloud 公式ブログ
この投稿は米国時間 8 月 30 日に投稿されたもの（投稿はこちら）の抄訳です。 Posted by Google Cloud デベロッパーアドボケイト 佐藤一憲 Tensor Processing Unit (TPU) は、機械学習の計算処理のために Google がゼロから開発したカスタム LSI （ASIC）です。Google 翻訳、フォト、検索、そして Gmail 等の主要な Google サービスの運用を支える基盤技術です。Google Cloud では、機械学習を利用するエンジニアやデータサイエンティストに向けて、この TPU の能力をスケーラブルで使いやすいクラウドサービスとして提供する Cloud TPU を提供しています。今年 6 月にサンフランシスコで開催された Google Next ‘18 では、無償トライアルを含むすべてのユーザーに向けて Cloud TPU v
ニューラルネットワークは何故多層なのか | 合理と非合理のあいだ
「Deep Learningは特徴を自動的に学ぶ」（いわゆる特徴表現学習）とよく言われるが、その言葉が実際に意味することを、 今回は「ニューラルネットワークは何故多層なのか」つまり「多層であると何が嬉しいのか」という問と絡めて、手書き文字認識を例にまとめてみる。 この記事は技術者＆非技術者向けであるが、一応ニューラルネットワークとは何かと、その基礎構造を知っていることを前提にしている。 一層だけのNN まず、NNが一層だけ（隠れ層なし）だった場合を考えてみる。 MNIST手書き文字認識では、28×28の画像（グレースケール）のピクセルを左上から右下まで一列に並べた784個のピクセル列（たとえば真っ白が1，真っ黒が0などと表されている）とバイアス項を入力とし、10個の出力（それぞれが0〜9の数字に対応、重みと入力の積が大きかったクラスの数字と識別）を持つ。 入力ノードはすべての出力ノードとつ
最近のスパースなニューラルネットワークについて - SmartNews Engineering Blog
こんにちは、スマートニュースの徳永です。深層学習業界はGANだとか深層強化学習だとかで盛り上がっていますが、今日は淡々と、スパースなニューラルネットワークの話をします。 要約すると ニューラルネットのスパース化によって、精度はほとんど犠牲にせずに、計算効率は3〜5倍程度まで向上できる スパース化にはまだ課題が多く、ニューラルネットの高速化という意味では、次の戦場はたぶんここになる スパースとは、スパース化とは スパースであるとは、値のほとんどが0であることです。例えば、ベクトル$a,b$の内積を計算する際に、$a$のほとんどの要素の値が0であるとしましょう。0になにをかけても0ですから、$a$の値が0でない次元についてのみ、$a_i b_i$の値を計算して足し合わせればよいわけです。このように、内積を計算する際に、どちらかのベクトルがスパースであれば計算が高速化できます。0という値をメモリ
AWS Solutions Architect ブログ
Apache SparkとAmazon DSSTNEを使った、Amazon規模のレコメンデーション生成 Amazonのパーソナライゼーションでは、お客様毎の製品レコメンデーションを生成するためにニューラルネットワークを使っています。Amazonの製品カタログは、あるお客様が購入した製品の数に比較して非常に巨大なので、データセットは極端に疎になってしまいます。そして、お客様の数と製品の数は何億にものぼるため、我々のニューラルネットワークのモデルは複数のGPUで分散しなければ、空間や時間の制約を満たすことができません。 そのため、GPU上で動作するDSSTNE (the Deep Scalable Sparse Tensor Neural Engine)を開発しオープンソースにしました。我々はDSSTNEを使ってニューラルネットワークを学習しレコメンデーションを生成していて、ECのウェブサイト
機械学習の分類の話を損失関数と決定境界を中心に整理してみた - once upon a time,
機械学習の分類の話を、主に決定境界と損失関数の観点から整理してみました。 とはいっても、k-NNとか損失関数関係ないのもいます。 最初ははてなブログに書こうとしたのですが、数式を埋め込むのが辛かったのでjupyter notebookにしました。 github.com [追記] githubだと日本語を含む数式のレンダーが壊れるので、nbviewerの方がいいかもしれません。 https://nbviewer.jupyter.org/github/chezou/notebooks/blob/master/classification.ipynb [/追記] パーセプトロンが見直されたのはなんでだっけ、SVMってどういう位置づけだっけ、というのを確認できればなぁと思っています。 多層パーセプトロンまでに至るところの流れがうまく伝わればなぁと思っています。 間違いなどがあれば、是非ご指摘いただ
AlphaGo: マシンラーニングで囲碁を
メディア関係者向けお問い合わせ先 メールでのお問い合わせ: pr-jp@google.com メディア関係者以外からのお問い合わせにはお答えいたしかねます。 その他すべてのお問い合わせにつきましては、ヘルプセンターをご覧ください。
「目に見えるパーセプトロン」という資料を作ったので公開します · けんごのお屋敷
先日、社内の勉強会でネタが募集されていたので機械学習、特にパーセプトロンについてしゃべりました。パーセプトロン自体は非常に単純なモデルで、理解も実装も比較的容易で、それゆえに様々なものの基礎になっています。近年、深層学習と呼ばれる学習を何層にも渡って行うような概念が話題になっていますが、そこに出てくるニューラルネットワークは一種の多層パーセプトロンでもあります。ここ数年での機械学習や深層学習の進歩のスピードは素晴らしいものがありますが、そんな中で基礎的な部分を押さえておくことはより大事になってくるのではないでしょうか。 社内勉強会で使ったスライドでは、簡単な機械学習の概要とパーセプトロンの仕組みを解説してみました。インターネット上に公開したので、このブログでも紹介しておきます。 補足 いくつか資料の補足をしておきたいと思います。 学習について 基本的には対象データから素性を抽出して、それを
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
