世界最大規模のディープラーニングを「富岳」で実施して世界一になりました - fltech - 富士通研究所の技術ブログ
はじめに こんにちは。富士通株式会社ICTシステム研究所のMLPerf HPC五人衆です。先週、国際学会SC’21 において、理化学研究所/富士通が共同で開発した新しいスーパーコンピュータ（スパコン）「富岳」がスパコンランキングで4期連続の4冠(TOP500, HPCG, HPL-AI, Graph500)を獲得しましたが、同会議で発表された、実際のディープラーニング(DL)学習処理に特化したMLPerfTM HPC ベンチマークにおいても世界一を獲得しました。 本ブログでは、このMLPerf HPCの一つのアプリケーションであるCosmoFlowの学習を「富岳」で大規模に行い世界一となった、その挑戦についてお話させてもらいます。 はじめに 背景 MLPerf HPCって何？（白幡） CosmoFlowって何？（田渕） 「富岳」って何？（田渕） プロセッサ 通信ネットワーク ストレージ 準
GANについて概念から実装まで ～DCGANによるキルミーベイベー生成～ - Qiita
@triwave33さんの良記事に触発され、GANに対しての関心が高まり、自分でもなにかアウトプットできないかなと思ったので、今回はキルミーベイベーの画像生成を行いました。 この記事では、GANについて基礎から解説し、最後にはDCGANを使ってキルミーベイベーの画像を生成することを目標としています。 以前、以下のような記事 Kerasでキルミーアイコン686枚によるキルミー的アニメ絵分類 を使ってKerasの勉強をし、面白いなと思ったので、 今回はDCGANを使って分類ではなく生成を行おうと思います。 また、潜在変数（ノイズ）に関して詰まったので、そこに関して掘り下げます。 ついでに、転置畳み込みに関しても少し触れています。 GAN関連の良記事としては 今さら聞けないGAN（1） 基本構造の理解 今さら聞けないGAN （2） DCGANによる画像生成 はじめてのGAN があります。 実装は
本番/ステージング環境GPUぼくめつ大作戦 - クックパッド開発者ブログ
機械学習チームの林田(@chie8842)です。好きなスポーツはテニスとスノボです。 システムは、その当時の最新の技術で作ったとしても必ずレガシー化します。 機械学習システムも他システムと同様、一度デプロイしたら終わりではなく、継続的なメンテナンスが必要です。昨今機械学習は、特に技術の進歩が目覚ましいため、レガシー化するのも早い分野といえます。本稿ではレガシー化した機械学習アプリケーションのメンテナンスと、それに伴うGPU環境からCPU環境への移行によって、大幅にシステムの運用コストを削減した例をご紹介します。 機械学習アプリケーションにおけるコスト課題 クックパッドにおける最初の大きな機械学習プロジェクトである料理きろくがリリースされたのは、2年前のことです。それ以来、様々な機械学習アプリケーションがデプロイされ、現在では大小含めて30を超える機械学習アプリケーションが運用されています。
TensorFlow.jsがWebGLで並列計算を実行する仕組みを理解する - 開発日誌
先日、機械学習モデルの学習・デプロイのためのJavaScriptライブラリ「TensorFlow.js」がGoogleから公開されました。Googleからは「deeplearn.js」という同様のライブラリが以前から公開されていましたが、TensorFlow.jsはこのdeeplearn.jsをコアライブラリとして利用しており、モデルの構築を簡単にするhigh level APIや、TensorFlow本体・Kerasで学習したモデルをインポートするツールを備えているとのことです。 このライブラリでは、WebGLを介してGPUを利用することで計算を高速化しているのが特徴です。WebGLはJavaScriptでグラフィック描画を高速に行うための機能ですが、これをどのようにして機械学習の計算に利用しているのか調べてみました。 そもそもWebGLは何をするためのもの？ TensorFlow.js
Google I/O '17のTensorFlow関連講演のまとめ - 元データ分析の会社で働いていた人の四方山話
events.google.com 初Google I/O ! に行くことができました。勝手なイメージでAndroidやWeb/Design系の話ばかりかなーと思っていたら、最近のご時世も反映されてかML関連の話題も非常に多かったです。半分くらいお仕事でスタッフぽい動きしていたので、現地ではしっかりセッションを見れたわけではないですが、Youtubeなどを見つつ簡単に整理してみました。 ML系の話題 大きくわけると3つでしょうか - TensorFlow Lite関連 - TPU関連 - TensorFlow 1.2関連 関連するYoutube動画や記事とセットでお送りします。 TensorFlow Lite関連 www.publickey1.jp 一番混乱した発表がこちら。キーノートで発表があるも名前くらいで何なのか不明という。。。3日目の朝1のセッションまで詳細がよくわからずという状態
またもやTensorFlowが強化！！深層学習ライブラリ「sonnet」の登場【使ってみた記事紹介を追加】 - HELLO CYBERNETICS
新たなライブラリsonnet sonnetとは DeepMind社製であること TensorFlowと共に使える TensorFlow TensorFlowの役割 TensorFlowの追加ライブラリ Keras TensorFlow-Fold edward sonnet sonnet使ってみた記事まとめ 多分日本語最速で出た使ってみた記事 インストールから丁寧に コードに対するコメントが豊富で参考になる記事 新たなライブラリsonnet sonnetとは DeepMind社が社内で利用していた深層学習ライブラリです。 昨日これがオープンソース化されました。 DeepMind社製であること DeepMindは現在Google傘下の人工知能開発企業です。 圧倒的な専門家集団の集まりであり、深層学習の研究にGoogleが乗り切る際に、DeepMind社は買収されました。その後、資金力と研究力を
TensorFlowによる基本的な演算についての勉強 - FPGA開発日記
TensorFlowについて読み進めていくと、機械学習の理論的なところが全く理解できていないことに絶望するとともに、インタフェースであるPythonについても理解が全く足りていないことが分かる。 はっきり言って、Pythonはこれまでインタプリタの肩代りとして使ったことはあるけど、Pythonそのものについては殆ど無知なんだよな。。。 そこらへんを少しずつ埋めていくと、TensorFlowで何をやっているのかが分かってくる。 特にTensorFlowのインタフェースの基礎については、下記のQittaが非常に分かりやすかった。 qiita.com つまり、TensorFlowでは式、というか関数を定義していき、それをApplyしていくことにより計算を進めていく。 関数を定義するような形で「式」を定義していき、その式の引数を与える形で計算をするという訳だ。 まずはプレースホルダを作成する。これ
TensorFlowによるDCGANでアイドルの顔画像生成 その後の実験など - すぎゃーんメモ
memo.sugyan.com の続編。 あれから色々な変更しつつ実験してみたりしたのでその記録。 結論を先に書くと、これくらい改善した。 DCGAN ざっくりおさらい Generator: 乱数の入力から画像を生成する Discriminator: 入力した画像がGeneratorが生成したものか学習データのものかを判別する という2種類のネットワークを用意し、お互いを騙す・見破るように学習を行うことで Generatorが学習データそっくりの画像を生成できるようになる、というもの 学習用画像の増加 前回の記事では90人の顔画像データから生成していたけど、あれから収集を続けて もう少し多く集まったので、今回は260人から集めた顔画像100点ずつ、計26,000件を学習に使用した。 Feature matching openai.com の記事で紹介されている "Improved Tech
TensorFlowで会話AIを作ってみた。
3. 3 会話AI 2016/2/15 C8Lab Copyright 2014 C8Lab Inc. All rights reserved MichroSoft社 女子高生会話AI 「りんな」 http://rinna.jp/rinna/ LINEやTwitterなどのチャットロボット に活用されている。 ゲームのNPCなどにも活用可能。 会話エンジンを用いた雑談APIなども 存在。 「うずら」、「もずく」、「りんな」等。 様々な種類のアルゴリズムの会話AI が存在するが、なかなか技術は公開 されていない。 4. 4 会話AIの種類 2016/2/15 C8Lab Copyright 2014 C8Lab Inc. All rights reserved 辞書型 辞書に登録されたテンプレに応じて会話を行う。 ○○を買ってきた よ！ ○○大好き！ こんにちは！ こ
TensorFlow Playgroundはニューラルネットを理解するのにおススメ - 西尾泰和のはてなダイアリー
ネットワークの重みや各ニューロンがどういう入力の時に発火するのかが、学習していく過程で各時刻可視化されてとても良い教材です。 http://playground.tensorflow.org/ うずまきのデータセットに関して「中間層が1層しかないとうずまき（線形非分離な問題）は解けない」という誤解があるようなので、まずは1層でできるという絵を紹介。なお僕のタイムライン上では id:a2c が僕より先に気付いていたことを名誉のために言及しておきます。 で、じゃあよく言われる「線形非分離な問題が解けない」ってのはどういうことか。それはこんな問題設定。入力に適当な係数を掛けて足し合わせただけでは適切な境界を作ることができません。 こういうケースでは中間層を追加すると、中間層が入力の非線形な組み合わせを担当してくれるおかげで解けなかった問題が解けるようになります。 1つ目のデータセットでは特徴量の
Deep Learning基本理論とTensorFlow
14. 14 実装機能: 1. ショッピングサイトの画像をInputに学習 2. 学習結果を元に、Inputの画像がどのカテゴリか判別する 3. 同一カテゴリの写真を推薦する(rails内処理) ※対応カテゴリ: Tシャツ, ワンピース, トップス, パンツ, スカート, 帽子, スカーフ, 靴, ネ イル, コスチューム 削除 15. 15 アプリケーション概要（データ準備） page=1 page=2 page=3 page=4 page=5 学習用データ 検証用データ 画像: ラベル: 0 1 0 ※サブカテゴリを0/1の配列に見 立て該当カテゴリにbitを立てる webサイトのあるカテゴリから画像取得 サブカテ5ページ分からスクレイピング Tシャツ 靴 ワンピース
「TensorFlow Tutorialの数学的背景」シリーズの目次 - めもめも
TensorFlowを使って、実際にコードを動かしながら、DeepLearningの仕組みを段階的に学んでいきましょう。 目次 ・No.1 TensorFlow Tutorialの数学的背景 − MNIST For ML Beginners（その1） 平面上の2種類のデータをロジスティック回帰で直線的に分類するという、機械学習の基礎を説明します。 ・No.2 TensorFlow Tutorialの数学的背景 − MNIST For ML Beginners（その2） 線形多項分類器とソフトマックス関数で、3種類以上のデータを分類する方法を説明します。 ・No.3 TensorFlow Tutorialの数学的背景 − TensorFlow Mechanics 101（その1） No.1で説明した問題に対して、もっとも単純なニューラルネットワークを適用して、複雑な境界を持つ分類を実現します
TensorFlow を使った�機械学習ことはじめ (GDG京都 機械学習勉強会)
4. TensorFlow とは Google社のMachine Intelligence 研究所が開発した数値計算ライブラリ Deep Learning をはじめとする 機械学習 の 研究や活用にGoogle社内で用いられている 2011年から使用していたDistBeliefを強化 複数のCPU/GPUや、複数のマシンに分散して 実行できる。(※複数マシン対応版は未公開) C++とPython 2or3 APIを持っている 2015年11月にオープンソース(Apache2.0)公開 2016-02-27 GDG京都 機械学習勉強会 4 5. データフローグラフ 2016-02-27 GDG京都 機械学習勉強会 5 掛け算 足し算 関数 テンソル が データフローグラフ 上を 流れるように計算処理している テンソル (多次元配列) 𝐶 = … (
TensorFlowによるディープラーニングで、アイドルの顔を識別する - すぎゃーんメモ
以前は MNISTの例を使って画像識別を試してみた けど、次はカラー画像についての識別を試してみる。 「アイドルなんてみんな同じ顔に見える」って 最近も言われてるのかどうか知らないけど、自分もつい5年前くらいまではそう思っていたわけで。その識別を機械学習でやってみよう という試み。 最近はほとんどライブに行かなくなってしまったけど大好きなももいろクローバーZちゃんを題材にしてみることに。 5人のメンバーの顔は機械学習によってどれくらい分類できるようになるのか？？ CIFAR-10 CIFAR-10 という、32×32サイズのカラー画像を10種類のクラスに分類する識別課題があり、そのデータセットが公開されている。これを実際にTensorFlowで学習するための畳み込みニューラルネットワークのモデルや関数などがtensorflow.models.image.cifar10パッケージに同梱されて
Google発の深層学習フレームワーク「TensorFlow」が一般エンジニアに与える可能性
こんにちは、PyData.Tokyoオーガナイザーのシバタアキラです。先日公開され大きな反響を呼んだGoogle社の深層学習（ディープラーニング）フレームワーク、TensorFlow（テンソルフロー）。今回はPyData.Tokyoのハッカソンイベントで、参加者の皆さんとTensorFlowについて学び、コーディングし、ディスカッションした内容から得た所感を共有したいと思います。深層学習のネットワーク設計という非常に高度な課題は、一般のエンジニアやデータサイエンティストにはとっつきにくいものですが、既存のさまざまな手法やツールがTensorFlowに移植されつつあり、今後ここが深層学習開発の拠点になる予感がしました。 シバタアキラ PyData.Tokyoのハッカソンイベント 前置き～今回のハッカソンを行うに至った経緯 PyData.Tokyoは昨年秋に開始し、第1回のテーマとして深層学習
TensorFlowを社内向けにざっくりLTして回帰した(＋資料とか) - 病みつきエンジニアブログ
Googleが先日「TensorFlow」という機械学習ライブラリを発表していて、話題になっています。 さっそく今日社内で紹介LTしてきました。 「社内」のエンジニアの話で言うと、機械学習の会社ではないので、機械学習とかDeep Learningとかには深掘りして話していないです。もちろん、機械学習ライブラリとかも知らない、けど、「なんかGoogleからディープラーニングをOSSで出したって話題になっているぞ」っていう感じの人向けに話しています。 TensorFlowをざっくりLTしてみた from Mitsuki Ogasawara 公式チュートリアルをちょっとだけ逸脱した線形回帰をやってみたサンプルもあります。 ちゃんと自動で微分できてます。 github.com このライブラリ、結構良いなあと思うのは、Googleが使っているという実績力かなと思います。公開初日に「Googleのプロ
TensorFlow ってなんだろ - Qiita
11/9 に Google が TensorFlow という機械学習ライブラリを公開しました. 機械学習ライブラリとか言われても何だかよくわからないですね. どういうものなのか調べて報告しろとある人に脅されたので, 機械学習初心者の人向けの説明を置いておきます. ガチ勢の方はお引き取りください. 何ができるの? scikit-learn のような既存の機械学習手法の実装ではありません. 主にニューラルネットを中心とした手法を実装するためのフレームワークです. もちろんニューラルネット以外の手法を実装するためにも使えます. 平たく言えば、機械学習の手法を実装するためのパーツを集めたライブラリという認識で良いと思います. 裏を返せば「2, 3行で手軽に画像の分類ができるぜ」という類のものではないということです. なぜ実装そのものではなく実装のためのフレームワーク? ニューラルネットは非常に設計
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
セキュリティ診断・検査のGMOサイバーセキュリティ byイエラエ
SENSYにおける深層学習活用事例とTensorFlowの悩み相談 - TFUG#3
Googleがめざす、誰もが使える機械学習
