Jupyter だけで機械学習を実サービス展開できる基盤 - Tech Blog - Recruit Lifestyle Engineer
こんにちは、CET チームの田村です。データ基盤を構築・運用したり、チャットボット（スマホ用です）を開発したりしているエンジニアです。 皆さん、実サービスで機械学習、活用できていますか？ 正直、難しいですよね。高精度なモデルを作ること自体も難しいですが、実際のサービスにそれを組み込むには、そこからさらに数々の難所が待ち構えているからです。 でも、そのほとんどはエンジニアリングで解消できます。 私たちのチームでは、数年にわたる経験をもとに難所とその対処法を整理し、すばやく成果をあげられる機械学習基盤を開発しはじめました。 本記事では、この基盤の設計とその背後にあるアイデアをご紹介します（機械学習工学研究会の勉強会での発表資料がベースです）。 イテレーションを何度も回せ 基盤そのものの前に、まず機械学習を成果につなげるためのポイントを説明させてください。 私たちは、機械学習の活用において必要な
クラウドではじめる機械学習：Google Cloud Machine Learningを使ってみよう
こんにちは、GMOアドマーケティングのMHです。 実際に機械学習をプロダクトに取り込む場合には大量のデータをどうやって扱うのか、大規模な学習を行うために必要なリソースは、、など考えることが色々と出てきます。 そのため、オンプレミスで大規模な機械学習環境を構築するのは中々ハードルが高いですが、Google Cloud Machine LearningやAmazon Machine Learning、Azure Machine Learning などをクラウド環境を利用することで手軽にスケール可能な機械学習環境を構築することが可能です。 今回は、Google Cloud Machine Learningを使ってクラウド上で機械学習を行ってみたいと思います。 Google Cloud Machine Learningとは データ量に関係なくあらゆるデータの機械学習モデルを簡単に構築できるマネージ
Machine Learning | Google for Developers
A new and improved version of Machine Learning Crash Course is coming in August 2024. Stay tuned!
MLのアルゴリズム以外を取り扱った勉強会を開催した話 - 元データ分析の会社で働いていた人の四方山話
年末までにこのエントリを投下したい、と思いつつ、あれよあれよと年があけてしまいましたが、去る2017年12月に表題の通り、機械学習のアルゴリズム「以外」を対象としたML Ops Study（仮）#1 という勉強会を開催してみました。 経緯など ここ数年、機械学習やらディープラーニング、と言われる領域に親しいところに身を置いていて、自分の興味が機械学習や高度な分析の社会実装に興味があることが分かってきました。幸いにして、機械学習ブームによって、機械学習のアルゴリズム部分に関する勉強会や書籍はたくさん世の中に出てくるようになり、結果、多くの人が機械学習のアルゴリズムを勉強をするようになったように思います。一方で、問題を解決できそうなアルゴリズムがあったとしても、実際はそれを仕組みに落としていくところ、仕組みにした後に継続的に運用し続ける部分に関しての知見やノウハウはなかなかないのが現状です。こ
ML Ops Study（仮） #1 (2017/12/19 19:00〜)
第 1 回 ML Ops勉強会（仮）の開催のお知らせです。 機械学習を本番システムで運用し始める前、し始めた後、のあれやこれやを共有しあいましょう。定義がはっきりしている領域ではないので、機械学習のアルゴリズム「以外」を対象にした勉強会と考えています。 とりあえず初回なのでやってみようという軽い感じでスタートです。 参加資格 参加者の属性を揃えるため、本勉強会の初回は 本番環境に機械学習を投入した経験のある人 のみを参加対象とします。 ※性善説での運用としますので、何かチェックをするなどはありません。 スケジュール 時間は目安ですので変更の可能性があります。主にTalkが増加する or 減少する場合があります。 19:00〜：Openning 会場諸注意など 19:10〜：Talk1：機械学習のマイクロサービスでの運用の実験について @Hmj_kdさん（メルカリ） こちら に記載している自
High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs
High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs We present a new method for synthesizing high-resolution photo-realistic images from semantic label maps using conditional generative adversarial networks (conditional GANs). Conditional GANs have enabled a variety of applications, but the results are often limited to low-resolution and still far from realistic. In thi
LSTMネットワークの概要 - Qiita
Christopher Olah氏のブログ記事 http://colah.github.io/posts/2015-08-Understanding-LSTMs/ の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 リカレントニューラルネットワーク 人間は毎秒ゼロから思考を開始することはありません。このエッセイを読んでいる間、あなたは前の単語の理解に基づいて、各単語を理解します。すべてを捨てて、またゼロから思考を開始してはいません。あなたの思考は持続性を持っています。 従来のニューラルネットワークは、これを行うことができません、それは大きな欠点のように思えます。たとえば、映画の中の各時点でどのような種類の出来事が起こっているかを分類したいと想像してください。従来のニューラルネットワークが、映画の前の出来事についての推論を後のものに教えるためにどのように使用できるかは不明です。 リ
Reddit - Dive into anything
There are many different service providers for GPU cloud computing (Amazon, Azure, Google Cloud, IBM Cloud, Nimbix, Aliyun, etc..) but their pricing schemes are almost never publicly displayed. Do you use GPU cloud computing for your machine learning tasks? If so, what GPU do you use and what's the price per hour per GPU? It seems to me like cloud computing prices don't follow GPU prices. A GTX 10
コーディング不要のディープラーニング開発ツール、ソニーが無償提供
コーディング不要で、ディープラーニングのプログラムを生成できるソフトウェア「Neural Network Console」を、ソニーが無償提供。 ソニーは8月17日、コーディングの知識がなくても、ディープラーニング（深層学習）のプログラムを生成できるソフトウェア「Neural Network Console」の無償提供を始めた。自社の製品・サービス開発にも利用しているツールを多くの開発者や研究者に使ってもらうことで「ディープラーニング技術の発展につなげる」という。 同社は今年6月、ディープラーニングのプログラムを生成する際に使うコアライブラリー（基盤ソフトウェア）「Neural Network Libraries」（以下、Libraries）をオープンソース化した。人間の脳を模倣した「ニューラルネットワーク」の設計、製品・サービスへの搭載を効率化する演算モジュール群だが、利用には高度なプロ
Kaggle事始め - Qiita
はじめに データ解析の情強な方なら、Kaggle はご存じだと思います。データ解析のSkillを競うCompetitionサイトで、与えられたテーマ(Dataset)に対して、世界中のデータ解析有識者が様々なデータ解析手法を駆使してより高い正答率(Score)を競い合う場所です。 が、Kaggleそのものは知っていても、どうやればKaggleに実際に参加できてランキングに加われるのかは知らない、と言う方は多いと思います。この記事では、とりあえずKaggleの何らかのCompetitionに参加して、解析結果をSubmitして、(その時点の)順位/Scoreを確認するまでの操作手順/流れをチラ裏したいと思います。 KaggleのWeb pageは色々な情報/Linkが詰まっているので、ぱっと見取っ付きにくいかもしれませんが、ポイントをつかめば参加してScoreを付けて貰う所まではとても簡単で
ディープじゃない機械学習で為替(FX)の予測をしてみる - Qiita
機械学習というと深層学習（ディープラーニング）を連想されがちですが、それ以外にも沢山あります。また、ディープじゃ無いからダメかというとそうでもありません。 というわけで、前回の記事のデータを別の機械学習でやってみます。 関連シリーズ - 第１回 TensorFlow (ディープラーニング)で為替(FX)の予測をしてみる - 第２回 ディープじゃない機械学習で為替(FX)の予測をしてみる - 第３回 TensorFlow (ディープラーニング)で為替(FX)の予測をしてみる CNN編 TL;DR 資産の増減をグラフにしました。半年ほどで12%の利益になってますが、学習の条件に対して結果がロバストでは無いので今後もうまくいくとは限りません。 GitHubにNotebookを置いてあります。 Forkして遊んでみてください。 https://github.com/hayatoy/ml-forex
C&OR-sgomez-afernandez-Portfolio-NN
* Corresponding author. Tel.: +34 977 55 8508; fax: +34 977 55 9710. E-mail address: sergio.gomez@urv.net (S. Gómez) Portfolio selection using neural networks Alberto Fernández, Sergio Gómez* Departament d’Enginyeria Informàtica i Matemàtiques, Universitat Rovira i Virgili, Campus Sescelades, Avinguda dels Països Catalans 26, E-43007 Tarragona, Spain Abstract In this paper we apply a heuristic me
https://arxiv.org/pdf/1605.07230.pdf
Deep Portfolio Theory J. B. Heaton ∗ N. G. Polson † J. H. Witte ‡ May 2016 Abstract We construct a deep portfolio theory. By building on Markowitz’s classic risk-return trade-off, we develop a self-contained four-step routine of encode, calibrate, validate and verify to formulate an automated and general portfolio selection process. At the heart of our algorithm are deep hierarchical compositions
tfdbg による TensorFlow モデルのデバッグ
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
TensorFlowチュートリアル - TensorFlowメカニクス101（翻訳） - Qiita
TensorFlow のチュートリアル（TensorFlow Mechanics 101） https://www.tensorflow.org/versions/master/tutorials/mnist/tf/index.html#tensorflow-mechanics-101 の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 コード： tensorflow/examples/tutorials/mnist/ このチュートリアルの目標は、（古典的）MNIST データ・セットを使用して手書き数字を分類するためのシンプルなフィードフォワード・ニューラルネットワークを訓練・評価するために TensorFlow を使用する方法を示すことです。このチュートリアルの対象読者は、TensorFlow を使用することに関心のある、機械学習の経験があるユーザーです。 これらのチュートリア
TensorFlowのコード分割の考え方 - Qiita
import tensorflow as tf input = [ [1., 0., 0.], [0., 1., 0.], [0., 0., 1.] ] winning_hands = [ [0., 1., 0.], [0., 0., 1.], [1., 0., 0.] ] x = tf.placeholder("float", [None, 3]) W = tf.Variable(tf.zeros([3, 3])) b = tf.Variable(tf.zeros([3])) y = tf.nn.softmax(tf.matmul(x, W) + b) y_ = tf.placeholder("float", [None, 3]) cross_entropy = -tf.reduce_sum(y_ * tf.log(y)) train_step = tf.train.GradientDe
Keras Documentation
Keras: Pythonの深層学習ライブラリ Kerasとは Kerasは，Pythonで書かれた，TensorFlowまたはCNTK，Theano上で実行可能な高水準のニューラルネットワークライブラリです． Kerasは，迅速な実験を可能にすることに重点を置いて開発されました． アイデアから結果に到達するまでのリードタイムをできるだけ小さくすることが，良い研究をするための鍵になります． 次のような場合で深層学習ライブラリが必要なら，Kerasを使用してください: 容易に素早くプロトタイプの作成が可能（ユーザーフレンドリー，モジュール性，および拡張性による） CNNとRNNの両方，およびこれらの2つの組み合わせをサポート CPUとGPU上でシームレスな動作 Keras.ioのドキュメントを読んでください． KerasはPython 2.7-3.6に対応しています． ガイドライン ユーザー
Neural Networkでの失敗経験やアンチパターンを語る - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私は元気です。 今日は珍しくNeural Networkを使っていく上での失敗経験について語ります。 学習の時に案外、失敗するのですが、だいたい原因は決まっています。そう大体は・・・ ということで、今回は失敗の経験、アンチパターンのようなものを書こうと思います。 Trouble1：学習時にNanを叩き出す。 原因1 cross-entropy誤差を使っている。 原因2 結果が小さすぎて、0と認識される。 原因3 重みがあらぬ方向へ学習する。 Trouble2：収束しない 原因1 学習率が高すぎる 原因2 学習率が低すぎる 原因3 適切な誤差関数ではない 原因4 活性化関数を誤った 原因5 そもそも入力が誤っている Trouble3：Validation Scoreが低い 原因1 過学習しているにも関わらず、気づかなかった。 原因2 与えるデータとラベルの1対
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ここが分かればTensorflowを使い始めれる！ - Qiita
https://qiita.com/papa_dacchi/items/509e1b21cc0acd9d0335