はじめに 学生時代にほんの少し競馬をかじったことがあるのですが、競馬の着順予測は考えるべき要素が多く、自分の頭の中でそれらの要素を考慮して予測するのは難しいと感じたので、１年足らずで止めてしまいました。ですが、「StanとRでベイズ統計モデリング」10.2節の棋士の「強さ」を推定する手法を知り、この手法を活用すれば、着順予測をシステマティックに行えるのではないかと考えるようになりました。そこで、以下では着順予測に考慮すべき要素の一つである競走馬の「強さ」を統計モデリングにより推定します。 StanとRでベイズ統計モデリング (Wonderful R) 作者:松浦 健太郎出版社/メーカー: 共立出版発売日: 2016/10/25メディア: 単行本 使用データ 以下のようなレース結果のシミュレーションデータを使用します（1438頭、290レース分）*1。このデータは、後述の統計モデルから生成し

Google Cloud Next ‘18 was incredible! From fantastic keynotes and fireside chats to GO-JEK CTO Ajey Gore appearing on-stage on a scooter to listening to Target CIO Mike McNamara we had an inspiring, educational and entertaining week at our flagship conference. We were joined by over 23,000 leaders, developers and partners from our Google Cloud community, listened to more than 290 customer speakers

This article is more than one year old. Older articles may contain outdated content. Check that the information in the page has not become incorrect since its publication. Introducing Kubeflow - A Composable, Portable, Scalable ML Stack Built for Kubernetes Kubernetes and Machine LearningKubernetes has quickly become the hybrid solution for deploying complicated workloads anywhere. While it starte

この記事は Gunosy Advent Calendar 2017 の1日目の記事です(フライング) qiita.com §1. はじめに こんにちは。データ分析部ロジックチームの @mathetakeです。いつもはデータ分析ブログにいるのでテックブログは初めてです。怖いです。Twitterとかやったことないですね。 最近は仕事でニュースパスというプロダクトの記事配信ロジックの改善を行っており、その一環としてパーソナライズロジックの開発プロジェクトに従事しています。 パーソナライズとはユーザーひとりひとりに対して別々の記事配信を行う事です。下記の記事でパーソナライズプロジェクト発足に至るまでの背景が語られているので、興味のある方はぜひご覧ください。 gunosiru.gunosy.co.jp この記事ではニュースパスの記事配信アルゴリズムのパーソナライズプロジェクトに関連して、 パーソナラ

こんにちは。アドテクスタジオ AI Labの山本です。 談話処理・対話についての国際会議 SIGdial 2017 にAI Labの山本と田中で聴講参加してきました。 SIGdialは産学の研究者が最新の談話・対話研究を発表している国際会議です。 また、今年は日本からの発表者も比較的多く、日本語を対象とした対話システムの研究動向も知ることができました。 Openingのスライドから。著者の国別統計。日本はアメリカ、イギリスに続く3番目。以下に続くカナダ、ドイツとは僅差 アドテクスタジオでは、ボット応対と有人対応を融合させたチャットボット事業 AI Messenger を展開しています。 今回の学会は、今後どのような技術を導入すれば今まで以上にクライアントの方々に利用していただけるサービスになるかを考えるよい機会となりました。 このブログでは2人が聴講した発表の中から気になった内容をまとめて

機械学習のスタックしていた案件をFacebook Prophetで３日で返済した話 背景 広告代理店業を行なっており、クライアント企業から予算を預かって、インターネット広告やマーケティング業をしているのだが、クライアントの予算消化の異常値を監視したい 2016年半ばに外部のデータ分析専門の会社に、その日の予算消化が異常の場合、アラートを鳴らすシステムを外注開始、2016年10月に納品 2017年9月半ばに進捗率が芳しくないことが判明した。終わる見込みが立たなかったので、私が解決に当たる （ついでに"Machine Learning: The High-Interest Credit Card of Technical Debt[2]"と呼ばれる負債化してしまう機械学習のシステムとはという評価軸があったので、これらから今回使えそうなプラクティスを取り出して適応してみたいというモチベーションが

はじめに クラスタリングとハッシュラーニングの部分を完全に理解することはできませんでした。有識者の方がいれば教えて欲しい・・・ 対象読者 教師なし学習で分類を行いたい方。一般的な機械学習の知識、コンピューターサイエンスの知識がある方が対象になります。 背景 教師データが用意できないタスクがある。 教師データが少量しか用意できないタスクがある。 教師なしデータはある。 上記の状況で有効な手法を探すために下記の論文を読みました。 Hu, Weihua, et al. "Learning Discrete Representations via Information Maximizing Self Augmented Training." arXiv preprint arXiv:1702.08720 (2017). 選んだ理由 精度が高い コードが公開されていて再現できそう ベースとなる手法

こんにちは。お久しぶりの投稿です。 来週末に開催される db analytics show case Sapporo www.db-tech-showcase.com と言うイベントで講演する事になってまして、ベイズ統計やMCMCの基本的なところからEdwardのデモまでやっていく予定なのですが ただ基本的なモデルを紹介するのもおもしろくないので、僕なりの新しい深層学習＋確率モデリングなモデルを考えましたので紹介したいと思います。 EdwardやMCMCの基本的なところについては弊社のブログに寄稿した以下の記事が詳しいので合わせてそちらも御覧ください↓ data.gunosy.io §1. お気持ち 例えば、ユーザーが付ける商品のレーティングを予測したいと考えます。 これは通常ターゲット が閉区間 に値を取る回帰問題として定式化されます。*1 与えられた特徴量に対して、予測値 を出力するわ

何の話かというと TF1.0から、新しいモデルの保存形式として、SavedModelが導入されました。 （参考）TensorFlow SavedModel このフォーマットの特徴と使い方のTipsをまとめます。 SavedModel形式で保存する方法 典型的には、Experiment APIを利用します。Experiment APIは、tf.contrib.learnの中でも最もハイレベルなAPIで、 ・モデル ・トレーニング用データ入力関数 ・評価用データ入力関数 を与えて実行すると、トレーニング用データでトレーニングを行いつつ、適当なタイミングで評価用データによる評価結果も出力してくれるというものです。しかも、Experiment APIを利用したコードを Cloud MLE のジョブに投げると、何も考えなくても、自動的に分散学習処理が行われます。また、学習途中のチェックポイントを自動

7 Techniques to Handle Imbalanced Data This blog post introduces seven techniques that are commonly applied in domains like intrusion detection or real-time bidding, because the datasets are often extremely imbalanced. By Ye Wu & Rick Radewagen Introduction What have datasets in domains like, fraud detection in banking, real-time bidding in marketing or intrusion detection in networks, in common?

はじめに ※ Keras2 を対象にしています。 Kerasのコードはシンプルでモジュール性が高いのでシンプルに記述可能で、理解しやすく使いやすいです。 ただし、標準で用意されている以外のLayerや学習をさせようとすると、あまりサンプルがなくてどう書いていいかわからなくなることが多いです。 最近いくつか変わったModelを書いた時に学んだTipsを備忘録も兼ねて共有します。 目次 Functional APIを使おう Weightを共有したい場合は Container を使うと便利 「LayerのOutput」と「生のTensor」は似て非なるもの Lambdaを使った簡易変換は便利 カスタムなLoss FunctionはSample別にLossを返す LayerじゃないところからLoss関数に式を追加したい場合 学習時にパラメータを更新しつつLossに反映した場合

The document outlines the divisions and focus areas of a large company, with most resources allocated to technology R&D, including deep learning and CNN. Other divisions include infrastructure, promotions, UI design, SEO, big data, IT, recruiting, staffing services, and administration.Read less

前編はこちら： ニューラルネットワークの動物園 : ニューラルネットワーク・アーキテクチャのチートシート(前編) 逆畳み込みネットワーク(DN) は、インバース・グラフィックス・ネットワーク（IGN）とも呼ばれていますが、畳み込みネットワークを逆転させたものになります。例えばネットワークに”猫”という言葉を入力すれば、生成した猫らしき画像と本物の猫の写真を比較しながら猫の画像を作成するよう訓練するようなイメージです。普通のCNNと同様にDNNをFFNNに組み合わせることができますが、新しい略語が見つかる時に線が描かれるところが特色です。深層逆畳み込みニューラルネットワークとでも呼べそうですが、FFNNの前後にDNNをつなげると、新しい名前をつけるにふさわしい別のアーキテクチャのネットワークができると主張できます。実際にはほとんどのアプリケーションにおいて、ネットワークにテキストに似たものが

こんにちは、研究開発部の山田（@y_am_a_da）です。 去る2月16日、「Cookpad Tech Kitchen #5 クックパッドにおける最近の機械学習について」と題して、機械学習に関わっている方々向けの技術交流イベントを行いました。 https://cookpad.connpass.com/event/49324/ 定員が70名のイベントでしたが、告知してから30分ほどで応募者数が定員超えの100人近く集まり、最終的には400人を超す方々にお申込みいただきました。これまでに開催したTech Kitchenの中でも過去最高の申込数であり、機械学習への関心の高さを感じました。 昨年7月に発足したばかりの研究開発部では、現在クックパッドに投稿されている250万品以上のレシピを始めとするさまざまなデータに対して、機械学習を活用したサービス開発を行っています。このイベントでは、研究開発部の

新しいニューラルネットワークのアーキテクチャがその時々で誕生するため、それら全部を把握することは困難です。全ての略語を覚えようとすると、最初はその数の多さに圧倒されてしまうでしょう（DCIGNやBiLSTM、DCGANを知っている人はいますか？）。 そんなわけで、これらのアーキテクチャの多くを盛り込んだチートシートを作ることにしました。そのほとんどはニューラルネットワークです。しかし、中には全く異なるアーキテクチャも潜んでいます。どれも独特で目新しいアーキテクチャばかりですが、ノードの構造を描くことで基本的な関係が分かりやすくなってきます。 これらをノードマップとして描くことの問題点は、これらがどのように使われるかを明確に示していないという点です。例えば、変分オートエンコーダ（VAE）はオートエンコーダ（AE）と同じように見えますが、実際は訓練過程が全く異なりますし、訓練したネットワークの