GoogleがAI HubとKubeflow Pipelinesを発表、機械学習専門家の知見を再利用:ソフトウェアエンジニアが大きな役割果たせる Googleは2018年11月8日(米国時間)、機械学習のパイプラインを容易に構築できるツール「Kubeflow Pipelines」と、機械学習のためのツールやデータのカタログとも呼べる「AI Hub」を発表した。 Googleは2018年11月8日(米国時間)、機械学習のパイプラインを容易に構築できるツール「Kubeflow Pipelines」と、機械学習のためのツールやデータのカタログとも呼べる「AI Hub」を発表した。Kubeflow PipelinesはGitHubで公開されている。また、AI Hubは限定ユーザーとαテスト中。 この2つのツールの目的について、Google CloudでML Platformエンジニアリング ディレ
KubeCon+CloudNativeConにおいて、Kubernetes上で機械学習を実現するKubeflowが紹介された。 Kubernetesを中心としたクラウドネイティブなソフトウェアのカンファレンスであるKubeCon+CloudNativeCon、3日目のハイライトはなんと言ってもKubeflowだろう。朝9時から始まったキーノートの最初に登壇したGoogleのDavid Aronchick氏は、「KubeConには第1回から参加している」と語り、Kubernetesの盛り上がりに驚きを隠せないようだった。今回は、Kubernetesとともに今最も注目を集めている機械学習をクラウドネイティブにするという、Kubeflowを紹介するセッションとなった。 最初に紹介したのは、機械学習を使う効果だ。Googleのデータセンターの消費電力について、機械学習で制御を行った場合と、人手で制
Google-led Kubeflow, machine learning for Kubernetes, begins to take shape Ever since Google created Kubernetes as an open source container orchestration tool, it has seen it blossom in ways it might never have imagined. As the project gains in popularity, we are seeing many adjunct programs develop. Today, Google announced the release of version 0.1 of the Kubeflow open source tool, which is desi
「TensorFlow.js」公開、Webブラウザ上で機械学習の開発、学習、実行が可能に。WebGL経由でGPUも活用 TensorFlow.jsの基となったオリジナルの「TensorFlow」は、Googleが開発しオープンソースとして公開されている機械学習ライブラリです。Windows、Mac、Linuxなどに対応し、Python、C++、Java、Goなどに対応したAPIを備えています。 今回発表されたTensorFlow.jsはそのJavaScript版で、Webブラウザ上で実行可能。TensforFlow.jsのAPIはオリジナルTensorFlowのPython APIのすべてをサポートしているわけではありませんが、似た設計となっており、機械学習のモデルの構築、学習、学習済みモデルの実行が可能なほか、学習済みモデルのインポートも可能。 WebGLを通じてGPUを利用した処理の高
畑から集めたデータとAIが農業を変える セラクが提供している農業IoTサービス「みどりクラウド」では、2分間隔の畑の環境情報や農作業記録(栽培計画・農薬使用履歴・収穫)を蓄積しています。このデータをAIを活用することでどのようなことができるのか、一緒に考えて、農業を変える革新的なアイディアを生み出したいと思います。 アイディアソンなので、技術者の方はもちろん、デザイナー、ディレクター、農業に興味を持っている方など幅広い方々のご参加をお待ちしています! 2016年12月に行った第1回は、多くの方にご参加いただき、農業にAIを活用することによる金融商品など非常に面白いアイディアが生まれてきました。今回もこれまでの農業からは想像もつかない新しいアイディアが生まれてくることを期待しております。 なお、優勝したチームには、みどりクラウドを使って生産された野菜もしくは果物を賞品として進呈する予定です。
【最終更新 : 2017.12.17】 ※以前書いた記事がObsoleteになったため、2.xできちんと動くように書き直しました。 データ分析ガチ勉強アドベントカレンダー 17日目。 16日目に、1からニューラルネットを書きました。 それはそれでデータの流れだとか、活性化関数の働きだとか得るものは多かったのですが、Kerasと言うものを使ってみて、何て素晴らしいんだと感動してしまいました 今まで苦労して数十行書いていたものが、わずか3行で書ける! 正直、スクラッチで書く意味って、理解にはいいけど研究や分析には必要あんまないんですよね。車輪の再発明になるし。 と言うわけで、使えるものはどんどん使っていこうスタンスで、今日はKerasの紹介です! Tutorial+気になった引数を掘り下げて補足のような感じで書いています。 ちなみに、各部のコード以下をつなぎ合わせるとmnistの分類器が動くよ
About reserved postingIf you register a secret article by the day before the same day, it will be automatically published around 7:00 on the same day. About posting periodOnly articles submitted after November 1 of the year can be registered. (Secret articles can be registered anytime articles are posted.)
Deep Learning の学習を高速でぶん回すには GPU の活用が欠かせないですよね! 12月1日についに Azure の GPU インスタンス (Azure N series) が GA (General Availability) になったので、 その N series で使える以下の3種類の OS の中から、 Ubuntu 16.04 LTS Windows Server 2016 Windows Server 2012 R2 Ubuntu 16.04 LTS を選んで、TensorFlow on GPU の環境構築方法をまとめました。 TensorFlow on GPU の環境構築完了までには、 NVIDIA の GPU Driver を入れる CUDA Toolkit を入れる cuDNN を入れる TensorFlow GPU version を入れる というそこそこ面倒
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 手書きひらがなの認識、教科書通りの畳み込みニューラルネットワーク(ディープラーニング)で、99.78%の精度が出ました。教科書通りである事が(独自性がない事が)逆に読む方・書く方にメリットがありそうなので、Qiitaで記事にします。 ソースコード ソースコードは https://github.com/yukoba/CnnJapaneseCharacter です。 いきさつ いきさつは、友人と手書きひらがなの認識の雑談をFacebookでしていて、ググったら、この2つが見つかりました。 「Tensorflowを2ヶ月触ったので"手書きひら
はじめに ポチポチKeras動かすのにどのような環境がいいのか考えてみました Keras + Docker + Jupyter Notebook + GPUの環境構築作業ログを紹介します Keras GitHub - fchollet/keras: Deep Learning library for Python. Convnets, recurrent neural networks, and more. Runs on Theano or TensorFlow. わかりやすいインターフェースがかなり好き Docker TensorFlowで学ぶディープラーニング入門~畳み込みニューラルネットワーク徹底解説 を参考にしました この本ではDockerを使用してます 当初はvirtualenv使用して環境作る予定だったので、勉強になりました 環境の移植性いいね GPU使用できるのいいね Ju
はじめに GTX1070を購入しました GPUでTensorFlowを動かすまでの作業ログです 環境 ハードウェア(2年前に自作したマイサーバー) CPU: Intel CPU Xeon E3-1241V3 3.50GHz マザーボード: ASUSTeK Intel H97 Pro SSD: Samsung SSD840EVO 250GB メモリ: 8GB * 4 今回購入 ASUSTek NVIDIA GeForce GTX1070 なぜ、GTX1070 → お小遣いで購入できる限界だった ソフトウェア OS: Ubuntu Server 16.04.1 LTS - NVIDIAドライバ: cuda-repo-ubuntu1504-7-5-local_7.5-18_amd64.deb → apt-getで入れる cuDNN: cudnn-7.5-linux-x64-v5.1.tgz Te
はじめに 昨日の 9/28 六本木ヒルズの Google Inc 東京オフィスでTensorFlow勉強会の5回目が開催されました!先日に引き続きブログまとめ枠として参加いたしました。本記事はそのレポート記事となります。 賢くなる自動フィードアグリゲータの制作 9月号 [slideshare id=66508846&doc=tensorflow5-160928114637] Singularity株式会社 近藤昭雄氏 最近、情報収集めんどくさくないですか? 以前の情報収集方法 Yahoo pipesがあった 収益化ができなかった 現在の個人的な情報収集方法 はてブニュース GoogleAlert SNS 某巨大掲示板 とても面倒 そもそもネットの情報量がふえた 2020年までに35ZB 自動で巡回して欲しい情報をピックアップしてプッシュ通知して欲しい 既存のニュースアプリでは欲しい情報だけ
自己紹介 すぎゃーん (id:sugyan) Web系エンジニア ドルヲタ歴5年ちょい TensorFlowで機械学習に入門 (2015.11〜) はてなブログ書いてます すぎゃーんメモ http://memo.sugyan.com/ アジェンダ アイドル顔識別について 学習用データセットの収集・作成 モデルの評価と実験 収集したデータを使った顔画像生成 アイドル顔識別について 問題設定 「入力した画像に対し、写っているのが『どのアイドル(人物)か』を機械学習により自動判定する」 画像内の顔領域検出 こちらは別タスク (Cloud Vision APIなど) 抽出した顔部分の分類 この分類器を作っている、という話 Deep Learning による画像分類 TensorFlowチュートリアルの最初の例 畳み込みニューラルネットワークを使った CIFAR-10 などの画像分類 学習には大量の
#はじめに 前回の 記事 ではtensorflow/tensorflowのイメージを元にdocker上でGPUモードのtensorflowを動かせる環境を構築しました. 先日,caffeのdocker環境を構築する機会がありまして,nvidia-dockerというものを使いました.nvidia-dockerを使うとdocker上から簡単にcudaにアクセスすることができます.今回はnvidia-dockerを使ってtensorflowを動かしてみようと思います. 追記 - 現在はtensorflow公式のイメージもnvidia-dockerを使うようになっています. #nvidia-dockerの導入 dockerを導入した環境において,以下で導入できます.
概要 Facebook Messenger APIを利用して、 画像をアップロードすると、似ているAV女優を教えてくれるbotを実装しました。 システム構成 Bot応答を行うサーバは諸般の都合によりGo、画像判別はPython(顔検出はOpenCV、分類用の畳込みニューラルネットワークはTensorFlow)で作成しています。 尚、言語間のI/FはgRPCでGoからPythonにRPCを行っています。 実装 Go側 Facebook MessengerからのWebhookを受信して、bot応答を行うWorkerプロセスです。 Messenger Bot Server WebサーバにはGinを利用しています。 難しい事は特にないですが、トラフィックが増えた際、複数のユーザからのメッセージをまとめてWebhookにPOSTする事があるようなので、 エンタープライズで利用するならそのあたりを注意
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く