3DGANをchainerで実装した - verbalize
タイトルの通り、3DGANのchainer実装をgithubに上げた。当初はkerasで書いていたが良い結果が得られず、ソースコードの間違い探しをするモチベーションが下がってきたので、思い切ってchainerで書き直した。 github.com 実はmnistなどのサンプルレベルのものを超えてちゃんとディープラーニングでタスクに取り組むのは今回が初めてだった。Chainerによるgan実装自体は公式のexampleやchainer-gan-libが非常に参考になった。 モデル 3DGANはその名の通り3Dモデルを生成するためのGAN。[1610.07584] Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial Modelingで提案されているもの。前回の記事でも触れた。 構
新インスタンス- NVIDIA Tesla V100 GPUを最大8個搭載したAmazon EC2インスタンス P3 | Amazon Web Services
各GPUは 5,120CUDAコアと640Tensorコアを備え、最大125TLOPSの混合精度浮動小数点演算、15.7TFLOPSの単精度浮動小数点演算、7.8TFLOPSの倍精度浮動小数点演算を可能とします。大きい２つのサイズでは、GPUはNVIDIA NVLink 2.0で相互接続され、最大300Gbpsデータレートで接続されています。これによりGPU間での中間結果やその他のデータのやりとりを、CPUやPCI-Expressを経由せずに高速に行うことが可能です。 Tensorコアとは？ このブログを書き始めるまで、私はTensorコアを聞いたことがありませんでした。大変有益なNVIDIA ブログの記事によると、Tensorコアは大きなDeep Neural Networkの学習や推論を高速化するために設計されています。各コアは、半精度(FP16)の4×4行列同士の積演算と、4×4の別
GitHubでもっとも人気の言語はJavaScript、フォークされたのはTensorFlow。GitHubが今年の統計情報「The State of the Octoverse 2017」を発表
GitHubでもっとも人気の言語はJavaScript、フォークされたのはTensorFlow。GitHubが今年の統計情報「The State of the Octoverse 2017」を発表 GitHubは、2017年10月時点でのGitHubの利用者数やリポジトリ数などGitHubの統計情報をまとめた「The State of the Octoverse 2017」を発表しました。 今年で10年となるGitHubのユーザー数は2400万人、組織数は1500万。リポジトリ数は6700万個。過去1年で10億回コミットが実行され、1250万のアクティブなイシュー、130万回の新規プルリクエスト発行などが明らかにされました。 また、もっとも人気のある言語はJavaScriptが圧倒的で、次がPython、Javaが続いています。 もっともフォークされたプロジェクトはTensorFlow、次
確率的プログラミングライブラリ「Edward」まとめ – かものはしの分析ブログ
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト Edwardで何ができるのか知らなかったので、忘備録として残しておきます。 目次 ・Edwardとは ・Edwardでできること ・参考スライド ・参考文献 Edwardとは ・LDAで有名なコロンビア大のBlei先生の研究室で、2016年より開発されている確率的プログラミング(( プログラミング言語の変数をモデルの構成要素として使うプログラミング))のPythonライブラリ。 ・積み木のように明快な形で確率的モデリングを行うことができる。（モデル→推論→評価 を一括
Keras(TensorFlow)で学習済みモデルを転用して少ないデータでも画像分類を実現する[転移学習：Fine tuning] - Qiita
2-2.環境準備(Docker上にJupyter構築) Dockerファイルのbuild。 GPU環境でない場合はubuntuイメージなどを使ってください。 ※ buildには少し時間がかかります。 $ git clone https://github.com/tsunaki00/fine_tuning.git $ cd fine_tuning $ cd docker $ docker build . -t keras # Dockerを起動(GPU環境ではnvidia-docker) $ docker run -d --name keras-container \ -v $PWD/notebooks:/notebooks \ -p 8888:8888 \ keras import pandas as pd import random, math import numpy as np fr
![Keras(TensorFlow)で学習済みモデルを転用して少ないデータでも画像分類を実現する[転移学習：Fine tuning] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/4e6f0b4286079b116bae9696523a77f3a683189d/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9S2VyYXMlMjhUZW5zb3JGbG93JTI5JUUzJTgxJUE3JUU1JUFEJUE2JUU3JUJGJTkyJUU2JUI4JTg4JUUzJTgxJUJGJUUzJTgzJUEyJUUzJTgzJTg3JUUzJTgzJUFCJUUzJTgyJTkyJUU4JUJCJUEyJUU3JTk0JUE4JUUzJTgxJTk3JUUzJTgxJUE2JUU1JUIwJTkxJUUzJTgxJUFBJUUzJTgxJTg0JUUzJTgzJTg3JUUzJTgzJUJDJUUzJTgyJUJGJUUzJTgxJUE3JUUzJTgyJTgyJUU3JTk0JUJCJUU1JTgzJThGJUU1JTg4JTg2JUU5JUExJTlFJUUzJTgyJTkyJUU1JUFFJTlGJUU3JThGJUJFJUUzJTgxJTk5JUUzJTgyJThCJTVCJUU4JUJCJUEyJUU3JUE3JUJCJUU1JUFEJUE2JUU3JUJGJTkyJUVGJUJDJTlBRmluZSUyMHR1bmluZyU1RCZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9MGUxOTZlYjk3MjA3NmIzNDgxZTc5YzM0NDhiY2Q1NWE%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB0c3VuYWtpJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0zYjlkMmVmODE2ZDcyYWQ3MzlkNWU4YjUzYTIzNmQ5Nw%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-R0FVU1M%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3D7045bbb5447d0db868c5207ea7f2dbbc)
AWSLambdaFace: serverless face recognition
TL;DR: Serverless compute platforms such as Amazon Web Services (AWS) Lambda were intended to be used for web microservices and to handle asynchronous events generated by other Amazon web services (DynamoDB, S3, SNS, etc.). However, AWS Lambda also allows users to upload arbitrary linux binaries along with their lambda functions. These binaries can be executed during a lambda invocation, effective
TensorFlowのデータフォーマットTFRecordの書き込みと読み込み方法
TFRecordを使用する理由 TFRecordの作り方 ExampleレコードとSequenceExampleレコード Fashion MNISTをTFRecord化してみる TFRecordの中身を確認する方法 TFRecordの読み込み方 実際に実装してみる TFRecordを使用する まとめ 参考 TensorFlowが推奨しているTFRecordというデータセットのフォーマットがあります。 TFRecordを使いこなせるようになると、大規模なデータを効率的に学習できるようになることがあります。 本記事では、TFRecordの使い方をマスターできるように読み書きする方法を解説し、実際にQueueRunnerを使った実装をしてみます。 TFRecordを使用する理由 TFRecordの中身はProtocol Bufferというバイナリフォーマットです。一度TFRecordを作成するこ
TechCrunch JP のタイトルから hiwa 氏の翻訳か否かを深層学習で推定する
追記 (9月30日 22:00) Q : 本文も用いると更に良いのではないか A : 可能な限り氏が翻訳した記事を開きたくないため、タイトルだけを用いた Q : 深層学習ではない手法との比較がない A : 追加実験を行った。登場する語彙の上位 12,000 個の bag-of-words を用いたところ RandomForest (class_weight = 'balanced', n_estimators = 500) では精度 0.93 , 再現率 0.66, f値 0.78 LinearSVC (sklearn のデフォルトパラメタ) では精度 0.88, 再現率 0.81, f値 0.84 となり、深層学習とあまり差がないことがわかった。 Q : 理由は何か 単語の頻度足切りを変化させても精度が変わらないことから、特定の語に強く反応している可能性がある。または特定ジャンルの記事が
ペパボ研究所の機械学習基盤とワークフロー - ペパボ研究所ブログ
こんにちは、研究員の三宅です。インターネットでは @monochromegane として活動しています。ペパボ研究所では、機械学習を用いた新たなサービスの機能開発や運用手法についての研究開発を行っています。今日はペパ研の機械学習基盤の構想と、その運用を支援するために開発したツールについて紹介します。 はじめに 機械学習によってサービスの課題を解決していくためには、サービス資産との連携と、学習結果の利用が容易となる仕組みが必要となります。複数サービスを運用するペパボにこの仕組みを提供することを考えると、大規模にかつ即時適用可能な状態で運用するには基盤化が不可欠です。また、利用する学習結果は永続的なものではなくサービスの成長に合わせた継続的な改善が必要なため、機械学習基盤の運用においては改善結果の反映を継続、かつ安定して行うことができるかが課題となります。 このエントリではサービスと連携した機
「女子高生AIりんな」の情操教育にはお金がかかっている、GPUもたくさん使っている
日本マイクロソフトが2015年にリリースした女子高生AI「りんな」。LINEとTwitterのチャットボットとして提供されており、サービス開始から2年で登録ユーザー数は約600万人にまで拡大した。 りんなは、Web上でソーシャルデータ化されている大量の会話データや、りんながユーザーとやりとりした会話データから学習し、“友達と会話しているような”自然な対話をするチャットボットとして成長している。最近では、テキストチャットだけでなく、合成音声でしゃべる機能も追加された。 AzureのCognitive Servicesで「同時通訳」機能を実装 大量の会話データの学習、合成音声の作成と洗練化のための学習、600万ユーザーからのトラフィック処理を担っているのは、マイクロソフトのクラウドサービスAzureだ。Azureのコンピュータリソースを使っての深層学習、機械学習サービス「Azure Machi
VSCodeでのPythonのデバッグと、Dockerコンテナ環境に接続してリモートデバッグする方法 - Qiita
経緯 この記事はPyCon JP 2017 Development Sprintsでの取り組みと、 その後の勉強会(Nagoya.Swift+ 9月度勉強会 - connpass)での取り組みをまとめたものです。 注記 下記の内容は2017年当時のものであり、現在ではよりよい方法があります。下記の内容に従って環境構築を行うのは、次の観点でおすすめできません。 pyenv が必要になるケースはかなり限定される一方、環境の構成に与える影響が大きいので導入には慎重になるべき Docker Container への接続を行った後のデバッグ手法については Remote Development でより容易に実現できる 例えば次に従うことで、Docker Container を開発環境として利用できます。 下記の内容は 2017 年当時の環境を知るための資料として残しますが、現在でもこの手順に従うことを
ML Engineでサーバーレス転移学習 - Qiita
ディープラーニングの画像識別は今日では広く認知されているものの、あまり事例が出てこないのはデータ数が膨大に必要である事と、それに伴って学習が長時間になるのが原因ではないかと思います。 そんな課題をクールに解決してくれるのが転移学習です。 転移学習はネットワークの全てをまっさらな状態から学習するのではなく、学習済みのネットワークの一部のみを学習し直す事で、データ数も時間も少なく精度の高い結果を得られる手法です。しかし学習と運用の面ではまだ面倒な事がたくさんあるため、ここではML Engineを使って簡単に転移学習を実現する方法を紹介します。 本記事はNotebookにまとまっています。 Kerasを使った転移学習 転移学習は前述の通り学習済みのネットワークが必要となります。TensorFlowでも一部の方が公開されていますが、デフォルトで且つ簡単に利用できるという点ではKerasが一番おすす
Kerasによるニューラルネットワーク本「Deep Learning with Keras」を読んだ | 10001 ideas
Deep Learningの基本的な仕組みなどについては大体把握してきたと思うので、実際に動くコードを書くにはどうすればよいのかということを学ぶために、Kerasによるニューラルネットワーク本、「Deep Learning with Keras」を読みました。 Kerasはご存知の通り、TensorflowやTheanoなどのDeep Learning基盤を使いやすくするためのフレームワークです。実際にKerasを使ってみると、難しそうなイメージがあるDeep Learningは積み木のように構築出来て、結構簡単じゃないかという自信を得られるので、一般的なユーザーには生のTensorflowを使うよりもお勧めです。 この本の内容は、Kerasのインストール、基本的なフィードフォワードNNから始まり、CNN、RNN、WordEmbedding、GAN、転移学習、強化学習、などと幅広くカバーさ
Engadget | Technology News & Reviews
Nintendo Switch 2: Everything we know about the coming release
AIは人間の敵ではない。“相棒”にするには｢誰もが使える道具｣にすること
AI（人工知能）の登場で仕事や働き方のあり方が議論されている。なかでも日本では｢人間の仕事を奪う｣という｢AI脅威論｣が根強い。 現在すでに事業としてAIを活用している人たちはどう感じているのだろうか。｢IBM Watson｣（以下Watson）を提供する日本アイ・ビー・エムの元木剛さんと、コールセンター等でAIを活用するトランスコスモスの緒方賢太郎さんに聞いた。 AIは働く私たちの敵ですか？ 味方ですか？ AIを使ったコミュニケーションサービスを提供するトランスコスモスの緒方賢太郎氏（左）と、日本アイ・ビー・エムでWatson事業を牽引する元木剛さん（右）。 ブームの兆しは3年前から—— ｢第3次AIブーム｣と言われています。AIを研究・活用しているお2人は、このブームをどう見ていますか。 緒方賢太郎（以下、緒方）：トランスコスモスでは主に、コミュニケーションや分析の領域でAIを活用して
ソニーがディープラーニング無償公開の先に見据えること ニュースイッチ by 日刊工業新聞社
ソニーが自社で抱えるディープラーニング（深層学習）技術の無償公開化に踏み切った。６月に人間の脳を模した機械学習モデル「ニューラルネットワーク」を設計するためのプログラム基盤を公開。続く８月には、専門家でなくてもより簡単に設計できる開発ツールも無償公開した。幅広い技術者の活用を促し、開発コミュニティーを育成するのが狙いだ。ソニーの人工知能（ＡＩ）技術は世界を席巻できるのか。挑戦が始まった。 ソニーのディープラーニング設計ツール「ニューラルネットワークコンソール」。画面上のブロック図を編集するだけでプログラミングできる ６月に公開した「ニューラルネットワークライブラリーズ」は、ニューラルネットワークをプログラミングするための、機能をかたまりごとに分けた枠組み。 開発に携わる成平拓也マシンラーニングリサーチエンジニアは「処理能力は競合と比べてもトップクラスの速さで、新しい機能を追加しやすい点が特
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SketchのデータをReact Nativeに変換するツールが登場？！
AmazonとMicrosoft、オープンソースの深層学習インターフェイス「Gluon」を提供
Apache MXNet--the fruit of cross-institutional collaboration
GitHub - NVIDIA/DeepRecommender: Deep learning for recommender systems
